Spark Streaming Contextでジョブログを作成するには？

Question

私は現在Spark Streamingアプリケーションのパフォーマンステストを行っています。 一般的に言えば、ソケット接続を介してJSONメッセージを受信して​​います（毎秒1メッセージ）。 その後、Spark Streamingメソッドを使用してメッセージをRDDとして処理し、最後に結果のRDDをデータベースに出力します。ここで

は私の問題だ：私はなど、ブロック処理時間、またはSchedullingの遅延を確認したい時はいつでも、私は、私も何をしたいのか、ポート4040

にスパークUIに行く必要にありプログラムが実行されるときにこれらの値を持つログを作成し、特定のディレクトリにtxtファイルとして保存します。

私は、SparkContextを使用して、たとえば、addSparkListenerメソッドまたはLoggerを使用できることを知っています。

Spark Streaming Contextでこれを行うにはどうすればよいですか？

私が混乱していた場合はどうもありがとう、謝罪します。

Answer 1

1つのオプションは、JSON形式のHTTPリクエスト経由でこれらの指標を公開Sparks REST APIを照会している：UIに指標を表示することに加え

は、彼らはまた、JSONとしてご利用いただけます。これにより、開発者はSparkの新しいビジュアライゼーションと監視ツールを簡単に作成できます。 JSONは、実行中のアプリケーションと履歴サーバーで使用できます。エンドポイントは/ api/v1にマウントされます。たとえば、履歴サーバーの場合、通常http：//：18080/api/v1、実行中のアプリケーションの場合はhttp://localhost:4040/api/v1にアクセスできます。

エンドポイントには、利用可能なすべてのURIとそのデータが公開されています。ストリーム処理中にそのデータを照会し、メトリックを分析するサービスを持つことができます。