Spark Streaming StatisticsのAPI

Question

Spark Streaming Statisticsへのアクセスを可能にするAPIを探しています.Spark Streaming Statisticsは、履歴サーバーの「Streaming」タブで利用できます。

私は、バッチ処理時間の値で主に興味が、それは少なくとも、マニュアルに従ってREST API経由で直接利用できません。 https://spark.apache.org/docs/latest/monitoring.html#rest-api

任意のアイデアストリーミング」のような様々な情報を取得する方法"履歴サーバーのタブまたは実行中のジョブ？

Answer 1

ドライバノードのSpark UIと同じポートで利用できるメトリクスエンドポイントがあります。 http://<host>:<sparkUI-port>/metrics/json/

ストリーミング関連のメトリックは、自分の名前で.StreamingMetricsを持っている：ローカルテストジョブから

サンプル：

local-1498040220092.driver.printWriter.snb.StreamingMetrics.streaming.lastCompletedBatch_processingDelay: { 
value: 30 
}, 
local-1498040220092.driver.printWriter.snb.StreamingMetrics.streaming.lastCompletedBatch_processingEndTime: { 
value: 1498124090031 
}, 
local-1498040220092.driver.printWriter.snb.StreamingMetrics.streaming.lastCompletedBatch_processingStartTime: { 
value: 1498124090001 
}, 
local-1498040220092.driver.printWriter.snb.StreamingMetrics.streaming.lastCompletedBatch_schedulingDelay: { 
value: 1 
}, 
local-1498040220092.driver.printWriter.snb.StreamingMetrics.streaming.lastCompletedBatch_submissionTime: { 
value: 1498124090000 
}, 
local-1498040220092.driver.printWriter.snb.StreamingMetrics.streaming.lastCompletedBatch_totalDelay: { 
value: 31 
}, 
local-1498040220092.driver.printWriter.snb.StreamingMetrics.streaming.lastReceivedBatch_processingEndTime: { 
value: 1498124090031 
}, 
local-1498040220092.driver.printWriter.snb.StreamingMetrics.streaming.lastReceivedBatch_processingStartTime: { 
value: 1498124090001 
} 

を我々はStreamingMetrics.streaming.lastCompletedBatch_processingEndTime - StreamingMetrics.streaming.lastCompletedBatch_processingStartTime

Answer 2

をローカルからdiffをする必要があり、処理時間を取得するには

Spark 2.2.0が7月にリリースされたので、あなたの投稿から1ヶ月後に私はあなたのリンクがspark 2.1.0を参照していると思います。明らかに、REST APIはSpark Streamingのために拡張されました。spark 2.2.0を参照してください。

まだSparkのバージョンを更新する可能性がある場合は、そのことをお勧めします。エンドポイントを使用してすべてのバッチからデータを受信することができます。

/applications/[app-id]/streaming/batches