私は./bin/spark-submitを使用してSparkジョブを実行しています。それは正常に実行されますが、SparkのWeb UIを開いて、私は完了したリストで仕事を見ることができません。Spark Web UIで終了したジョブが表示されない
./bin/spark-submit --name "myapp" --master local --conf "spark.master=spark://fahad:7077" --class com.apptest.App ~/app-0.0.1-SNAPSHOT.jar
注：スパークバージョン2.0.1、1ワーカーランニング、マスターUI localhost:8080で労働者とマスターの両方が./sbin/start-*.shスクリプトから走りました。
通常のSpark UIとSpark History Serverの2種類のUIがあります。
完了後にジョブを表示するのは履歴サーバーです。
http://spark.apache.org/docs/latest/monitoring.html
彼らは、あなたが実行することによって、それを起動する必要があり、ドキュメントで説明します。
./sbin/start-history-server.sh
これは、デフォルトではhttp://server-url:18080でのWebインターフェイス、 上場不完全で、完成したアプリケーションとの試みを作成します。
（以下spark.history.provider を参照してください）ファイルシステムプロバイダクラスを使用する場合は、ベースのログディレクトリが spark.history.fs.logDirectory設定オプションで供給されなければならない、と サブディレクトリが含まれている必要がありますそれぞれアプリケーションのイベントログを表します。
スパークジョブ自体は、イベントをログに記録し、同じ共有書き込み可能ディレクトリに を記録するように設定する必要があります。例えば、 サーバは HDFSのログディレクトリで構成されている場合：//名前ノード/共有/火花ログ、クライアント側のオプションは 次のようになります。
がspark.eventLog.enabled真spark.eventLog .dir hdfs：// namenode/shared/spark-logs