KafkaクラスターがダウンしたときにKafka Streamsアプリが失敗しない

Question

Kafka Streamsアプリを実行しています（0.10.2.1）。 Kafkaクラスタをシャットダウンすると、ストリームアプリケーションは次のメッセージを待機し続け、クラスタが復帰するとメッセージの消費を再開します。クラスタがダウンしている間は、が表示されます。が正常に動作しています。私はこれを45分以上テストしました。

私はカフカが例外を投げたり停止したりすると思います。私はStateListenerがKafkaStreamsがシャットダウンしたときにログに記録するように設定しましたが、決して呼び出されません。

kafkaStreams.setStateListener((newState, _) => { 
    if (newState == KafkaStreams.State.NOT_RUNNING) { 
    Log.error("Kafka died unexpectedly.") 
    } 
}) 

クラスタに接続できないときにKafkaに例外またはシャットダウンを送信させるにはどうすればよいですか？

注：これはクラスタが停止行くことを前提としていますが、カフカストリームアプリがダウンしたいと思うのはなぜ後にアプリが

Answer 1

を開始しましたか？

アプリはブローカの障害に耐える必要があります。つまり、ブローカが回復するまで忍耐強く続けてください。 Kafka Streamsアプリケーションのインスタンスが複数あり、そのうちの1つがブローカへの接続を失った場合、残りのインスタンスに負荷が再調整されます。接続が失われた各インスタンスがただちにシャットダウンすると、ブローカの接続性が回復してもインスタンスが失われ、冗長性と並列性が失われます。今のところカフカ・ストリームは弾力性を重視して設計されています。私はこれが正しい行動であると主張したい。

IMHOブローカ（または接続性）の障害を検出したい場合は、監視のための使用例であり、Kafka Streamsアプリケーションに障害が発生しないようにしてください。