完成したAppの後にSpark UIを表示するように設定する方法

完了したAppの後にSpark UIで表示するように設定しようとしました。完成したAppの後にSpark UIを表示するように設定する方法

私はhttps://spark.apache.org/docs/latest/monitoring.htmlを参照しましたが、Sparkクラスタを詳細に設定する方法はわかりません。

私は4台のコンピュータを持っています：1つはマスタクラスタ、残りはスレーブクラスタです。

これらのコマンドを入力するには、このページに記載されています。

spark.eventLog.enabled true 
spark.eventLog.dir hdfs://namenode/shared/spark-logs

これらは、マスタークラスタに入力する必要がありますか？あるいは、すべてのクラスタを埋める必要がありますか？

私はspark-defaults.confで両方を試しましたが、私はsparkアプリケーションを実行すると同じエラーが発生しました。

failed on connection exception:java.net.ConnectException: Connection 
refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused.

出典

2017-03-14 S.Kang

を使用して、それを停止することができますが、履歴サーバを設定しようとしたことがありますか？ – FaigB

'。/ sbin/start-history-server.sh'のようなサーバを起動することについて話していますか？ –

アプリケーション終了後、EventLoggingListenerを使用してイベントを永続化し、Spark History Serverを使用してWeb UIを使用できます。

Spark History Serverを使用して、ブラウザにイベントログを表示します。

org.apache.spark.scheduler.EventLoggingListenerロガーのログレベルをINFO有効にして、EventLoggingListenerの内部で何が起こるかを確認します。

はconf/log4j.propertiesに次の行を追加します

log4j.logger.org.apache.spark.scheduler.EventLoggingListener=INFO

あなたはstart-history-server.shシェルスクリプトを実行することにより、履歴Serverを起動し、stop-history-server.sh

出典

2017-03-14 09:32:32 FaigB

「start-history-server.sh」を起動したとき。 org.apache.spark.deploy.history.HistoryServer：をorg.apache.spark.deploy.history.FsHistoryProviderに起動できませんでした。（FsHistoryProvider.scala：75） ... 6もっと見る ' –

完成したAppの後にSpark UIを表示するように設定する方法

答えて

関連する問題