Eclipseのジョブ

私は本当にスパークUI（http://localhost:4040/jobs）Eclipseのジョブ

上のDAGの可視化のように、私は地元のスパークを実行していると私はスカラ座のためのEclipse IDEを通じてジョブを実行する場合、これらのジョブはログインしていませんスパークのUI。どのように私はこれらを表示することができます任意のアイデア？

出典

2016-11-04 shopper6

実行中または停止していますか？停止して何かを見たい場合は、スパーク履歴サーバーを使用する必要があります。 –

ああ、スパークヒストリーサーバーは設定が必要なものですか？実行中に表示したい場合は、 – shopper6

okだから私はsparkヒストリサーバを稼働させ、ローカルマシン上のfile：/// c：/ logs/sparkHistoryを指すように設定されています。しかし、Eclipseを使用してspark scalaを実行すると、履歴は生成されません。任意のアイデアをどのようにこれを設定するには？（fyi、localhost：4041で実行中のジョブが表示されます） – shopper6

Eclipseは[SPARK_HOME] \ conf \ spark-defaults.confを見ていないようです。これを指す方法についてのアイデアはありますが、誰も私のために働いていません。だから私はスカラコードのconfプロパティを設定しました。末尾のスペースに注意してください。

val conf = new SparkConf() 
    .setAppName("WordCount") 
    .setMaster("local[*]") 
    .set("spark.history.fs.logDirectory", "file:///c:/tmp/spark-events") 
    .set("spark.eventLog.dir", "file:///c:/tmp/spark-events") 
    .set("spark.eventLog.enabled", "true")

出典

2016-11-08 02:07:06 shopper6

答えて

関連する問題