Kafkaコンシューマーはすべてのパーティションからメッセージを消費していません

Question

10個のパーティションでカフカのトピックを作成し、カフカの消費者1人でメッセージを消費しようとしました。しかし、カフカ消費者はすべてのパーティションからメッセージを読んでいません。具体的には、5つの特定のパーティションからの消費メッセージです。 例：消費者は[0,1,2,3,4]からのメッセージを消費しています。また、[5,6,7,8,9]からメッセージを消費し始めると、再起動後にこれらのパーティションからのメッセージしか消費されません。その理由が起こってここ がkafka-consumer-offset-checker.shコマンドの出力

Group|Topic | Pid | Offset | logSize| Lag  | Owner 
GRP1 | topic1 | 0 | 128  | 175 | 47  | none 
GRP1 | topic1 | 1 | 117  | 146 | 29  | none 
GRP1 | topic1 | 2 | 62  | 87  | 25  | none 
GRP1 | topic1 | 3 | 101  | 143 | 42  | none 
GRP1 | topic1 | 4 | 104  | 145 | 41  | none 
GRP1 | topic1 | 5 | 118  | 118 | 0   | none 
GRP1 | topic1 | 6 | 111  | 111 | 0   | none 
GRP1 | topic1 | 7 | 161  | 161 | 0   | none 
GRP1 | topic1 | 8 | 144  | 144 | 0   | none 
GRP1 | topic1 | 9 | 171  | 171 | 0   | none 

で誰もが知っていますか..？

Answer 1

spark streamingを使用して、32個のパーティションを持つカフカのトピックを読み込んでいる間、今週も同様の問題が発生していました。具体的には、apache org.apache.spark.streaming.kafka010.*が提供するspark kafkaストリーミングクラスを使用していました。

私たちは1つのパーティションからしか消費できませんでした。問題は、私たちの瓶にkafkaバージョン0.10.1.0を含めていたためです。クラスタが0.10.1.0になっていても、0.10.0.1に戻しました。