Spark Streaming：StreamingListenerによる処理時間とスケジューリング遅延を取得する方法は？

Question

StreamingListenerで処理時間の値を取得することができます。StreamingListenerインターフェイスを使用して、Spark Streamingプログラムの進行状況を監視することもできます。これにより、受信者ステータスと処理時間を取得できます。 http://spark.apache.org/docs/latest/streaming-programming-guide.html#monitoring-applications

Sparkのメトリックに関する情報はありますが、処理時間とスケジューリングの遅延は含まれていません。 http://spark.apache.org/docs/latest/monitoring.html#rest-api

私はStreamingListenerのソースコードを読んでいます。これには次のようなメソッドが含まれています：

def printStats() { 
    showMillisDistribution("Total delay: ", _.totalDelay) 
    showMillisDistribution("Processing time: ", _.processingDelay) 
} 

私はこれらのメトリクスを取得することは可能だと思いますが、私はそれを認識しませんでした。 私の研究にはこれらの指標が必要です。どうすれば入手できますか？非常にありがとう。

Answer 1

解決策が見つかりました。

class MyListener() extends StreamingListener { 
    override def onBatchCompleted(batchStarted: StreamingListenerBatchCompleted) { 
    println("Total delay: " + batchStarted.batchInfo.totalDelay) 
    println("Processing time: " + batchStarted.batchInfo.processingDelay) 
    } 
}