DAGとイベントタイムラインのSparkカスタムモニタリング

Question

Apache Spark UIで表示されるDAGとイベントタイムラインについて、自分のストリーミングアプリケーションで自分の監視機能を使用したいと考えています。

これらのメトリックやリスナーがこれらの情報を取得する方法はありますか？

私の動機は、メトリックを使用してバッチ用のステージを流れるデータのライブ進行を表示することです。私は既にStreamingListenerとその実装について調べました。

Answer 1

私はあなたがドキュメントにここでそれを見つけることができると思う：

http://spark.apache.org/docs/latest/monitoring.html#rest-api

私はREST APIを使用して何のexpierenceを持っていません。しかし、あなたはそれであなた自身の監視ツールを書くことができるように見えます。