実行中のスパークジョブがUIに表示されない

--masterパラメータまたはspark.masterパラメータを指定せずに、bin/spark-submit --class DataSet BasicSparkJob-assembly-1.0.jarのように私のスパークジョブを送信しました。その仕事の代わりに私の3ノードスパーククラスターに提出されます。しかし、私はそれが何の情報も表示していないので、仕事を提出したのだろうかと思っていたRunning Applications実行中のスパークジョブがUIに表示されない

出典

2016-07-11 Naresh

マスターをでもspark.masterでも設定しない場合、Sparkはローカルで実行されます。

ジョブの進捗状況は引き続き確認できます。デフォルトでは、http://localhost:4040にスパークジョブの実行中にUIが使用可能になります。

あなたの仕事が終了すると、このUIが殺されると、[OK]をスパーク履歴サーバ

出典

2016-07-12 10:20:39 user1314742

処理のためにメモリとコアのspark-default.confに記述されているのと同じ設定を使用していますか？ – Naresh

sparヒストリサーバを意味する場合は、 'spark-defaults.conf'を設定ファイルとして使用しますが、ヒストリサーバ自体はSparkプロセスではないため、ドライバ/エグゼキュータを持つSparkとして起動しません – user1314742

あなたの開発マシンであなたのローカルモードで実行されている可能性があります。

出典

2016-07-11 10:23:07 Dikei

を設定しない限り、あなたのアプリケーションの履歴を表示することができませんでした、私はこの実行中のアプリケーションのログを見ることができる方法はありますそれで？ – Naresh

'localhost：4040'を使用してWeb-UIにアクセスできます。 – Dikei

実行中のスパークジョブがUIに表示されない

答えて

関連する問題