糸のSparkジョブのアプリケーション実行監視

SparkのスタンドアロンモードのWeb UIでアプリケーションの実行情報を詳細に見ることができますが、糸になると消えてしまいます。だから、ジョブが糸で走っているときの実行情報はどこで確認できますか？糸のSparkジョブのアプリケーション実行監視

出典

2016-05-12 Xingjun Wang

debug your applicationでも構いませんが、それ専用のUIはありません。

出典

2016-05-12 07:58:18 RoyaumeIX

また、完成したアプリケーションのUIをSparkの履歴サーバ http：// spark.apache.org/docs/latest/monitoring.html#viewing-after-the-fact – RoyaumeIX

はい、実行履歴をこのように表示することができます。私はこの問題を把握しようとしています。 –

あなたは糸と火花履歴サーバを設定し、その後、

spark.eventLog.enabled   true 
spark.eventLog.dir    hdfs://LOCATION/TO/SPARK/EVENT/LOG 

spark.yarn.historyServer.address  SPARK_HISTORY_SERVER_HOST 
spark.history.ui.port     SPARK_HISTORY_SERVER_PORT 

spark.yarn.services      org.apache.spark.deploy.yarn.history.YarnHistoryService 
spark.history.fs.logDirectory   hdfs://LOCATION/TO/SPARK/EVENT/LOG

を次のプロパティを追加して、火花履歴サーバを起動し、あなたのspark-defaults.confファイルに

、それを起動する必要があります。

$/PATH/TO/SPARK/sbin/start-history-server.sh

PS私はSparkがすでにhadoop/yarnで設定されていると仮定しています（したがって、spark-env.shで設定ファイルの場所を設定しています）。

出典

2016-05-12 10:46:28 user1314742

糸のSparkジョブのアプリケーション実行監視

答えて

関連する問題