Spark Streaming - デフォルトのspark.streaming.concurrentJobs設定で同時にジョブが実行されます

Question

Spark Streaming Jobで奇妙な動作が発生しました。 spark.streaming.concurrentJobsのデフォルト値は1です。 バッチ間隔を10分に設定して、同じストリーミングジョブを1日以上実行していました。 突然、キューに入れずに入ってくるすべてのバッチに対して、同じジョブが同時に実行され始めました。

誰もこれに直面していますか？ これは大きな助けになるでしょう！

Answer 1

この種の動作は不思議そうですが、一度に1つのジョブしか実行されていない場合、バッチ処理時間<バッチ処理の場合、システムは安定しているようです。

スパークストリーミング作成者Tathagata hsはこれについて：How jobs are assigned to executors in Spark Streaming?について言及しました。