エグザムが終了するのをkafkaストリーミングドライバが待っていますか？

Question

私は、カフカからのいくつかのメッセージを監視するスパークストリーミングアプリケーションを持っています。特定のメッセージについては、再接続するまで何度かpingを続行するために長いループに移動する必要があるかもしれません。 一部のエグゼキュータがこのループに行くと、ストリームの処理が停止することがわかります。 正しいですか？ ストリームの処理を中断せずにこのループを作成するにはどうすればよいですか？

Answer 1

はい、長期実行タスクでブロックされた場合、エグゼキュータは進行しません。

このような長いプロセスをエグゼキュータで実行することはお勧めしません。これらの再接続のケースが時間的に疎であると仮定すると、私はドライバで非同期プロセスを使用します。 （先物またはプールからのベアボーンスレッド）。