スパークストリーミングのシャットダウン

Question

私はスパークが新しく、質問が1つあります。

私はKafkaを使用するSpark Streamingアプリケーションを持っています。新しいバッチが空の場合、アプリケーションにシャットダウンするよう指示する方法はありますか（batchDuration = 15分とします）？

Answer 1

それを行う必要があるの行で何か：

dstream.foreachRDD{rdd => 
    if (rdd.isEmpty) { 
     streamingContext.stop() 
    } 
} 

しかし、あなたのアプリケーションのワークフローに応じて、それは最初のバッチ（またはその間のいくつかのバッチ）も空であり、したがって、あなたのことが考えられますので注意してくださいジョブは最初の実行で停止します。より信頼性の高い停止のために、いくつかの条件を組み合わせる必要があるかもしれません。