KafkaStreams - InconsistentGroupProtocolException

Question

私はそうのように、カフカストリームDSLを使用して、当社のカフカクラスタに接続カフカストリームアプリを持っている：

KStreamBuilder builder = new KStreamBuilder(); 
KStream<String, byte[]> stream = builder.stream(myTopic); 

// do work 

kStreams = new KafkaStreams(builder, config); 
kStreams.start(); 

そして使用して、当社のクラスタへの接続を確立し、私のコードベースの別の部分消費者のクライアントに直接。

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(config, keyDeserializer, valueDeserializer); 
consumer.subscribe(Collections.singletonList(sourceTopic)); 
consumer.poll(500L); 
// etc 
consumer.close(); 

私はこれをやっている理由は、条件付きで（カフカストリームトポロジを含ん）アプリの他の部分をキックオフ前に、コンシューマ・グループに関するメタデータを収集することです。これを行う方法は他にもあります（さまざまなフックなど）がありますが、これらのメソッドを混在させると時々（断続的に）InconsistentGroupProtocolExceptionがスローされます。

誰かがなぜこれがスローされているのかを明かすことができますか？私は、ソースコード自体から何が起こっているのか判断するのは難しいですが、Kafka Streamsによって構築された基礎となるコンシューマは、KafkaConsumerクライアントとは異なるパーティション化プロトコルを指定していると思います。とにかく、この例外を理解する上での助けには大いに感謝します

Answer 1

あなた自身で答えを入れます。 Kafka Streamsはカスタムパーティション割り当てを使用し、Kafka Streamsクライアントは他のKafka Streamsクライアントでのみ動作します。あなたのKafka Streamsアプリケーションと同じグループIDを持つKafkaConsumerを使用すると、KafkaConsumerをオフにしてKafka Streamsコンシューマグループに参加できなくなります。明らかに、KafkaConsumerはカフカストリームで「再生」できません。