カフカストリームには処理にかかる時間がタイムアウトしていますか？

Question

私はmap/foreachの間に外部システムを呼び出すKafkaストリームを使用しています。 mapまたはforeachにどれくらいの時間がかかりますか？

長時間（例：時間）ブロックする警告はありますか？

Answer 1

map/foreachにはタイムアウトは適用されません。

しかし、カフカストリームは内部でKafkaConsumerとKafkaProducerを使用しているため、すべてのタイムアウトが適用されます（例：max.poll.interval.ms）。もちろんそれに応じて設定することもできますが、外部システムへの呼び出しを長時間ブロックすることはお勧めしません。

Kafka Connectを使用して、外部サービスからのデータをトピックにロードし、このデータをアプリケーションのKTableとしてマップの代わりにストリームテーブル結合することは、多くの利点があります。この方法では、Streamsアプリケーションと外部システムが切り離され、全体的なアーキテクチャがより堅牢になります。