プログラム内のスパークストリーミングジョブの継続時間

Question

各rddジョブにかかる時間（スパークストリーミングジョブを実行しているプログラム）を取得するにはどうすればよいですか。例えばジョブRDD各マイクロバッチのための上記のコードで

val streamrdd = KafkaUtils.createDirectStream[String, String, StringDecoder,StringDecoder](ssc, kafkaParams, topicsSet) 

val processrdd = streamrdd.map(some operations...).savetoxyz 

ためにマップとsaveto動作のために実行されます。

各ストリーミングジョブのタイムテーブルを取得したいと考えています。私はポート4040 UIでジョブを見ることができますが、スパークコードそのものに入りたいと思っています。

私の質問が明確でない場合は、ご容赦ください。

Answer 1

あなたはsparkアプリケーションでStreamingListenerを使用できます。このインタフェースは、バッチジョブの総所要時間を与えることができるonBatchCompleteメソッドを提供します。

context.addStreamingListener(new StatusListenerImpl());

StatusListenerImplあなたがStreamingListenerを使用して実装する必要が実装クラスです。 リスナーで利用可能な他の方法もあります。