カフカ高可用性機能が動作しない

Question

カフカドキュメントのクイックスタートを試しています。リンクはhttps://kafka.apache.org/quickstartです。 私は3つのブローカーを展開してトピックを作成しました。プロデューサーをテストする：

➜ kafka_2.10-0.10.1.0 bin/kafka-topics.sh --describe --zookeeper 
    localhost:2181 --topic my-replicated-topic 
    Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 
    Configs: 
    Topic: my-replicated-topic Partition: 0 Leader: 2 Replicas: 2,0,1 
    Isr: 2,1,0 

は、それから私は、 "私の-複製され、話題を--topic 9092ビン/ kafka-console-producer.sh --brokerリストはlocalhost" を使用します。 "bin/kafka-console-consumer.sh --bootstrap-server localhost：9092 --from-beginning-topic my-replicated-topic"を使用してコンシューマをテストします。 プロデューサとコンシューマは正常に動作します。 サーバー1または2を強制終了すると、プロデューサとコンシューマは正常に動作します。

しかし、サーバー0を終了してプロデューサ端末にメッセージを入力すると、コンシューマは新しいメッセージを読み取ることができません。 私は、サーバー0、消費者の印刷ログを殺すとき：

[2017-06-23 17:29:52,750] WARN Auto offset commit failed for group console-consumer-97540: Offset commit failed with a retriable exception. You should 
retry committing offsets. 
(org.apache.kafka.clients.consumer.internals.ConsumerCoordinator) 
[2017-06-23 17:29:52,974] WARN Auto offset commit failed for group console- 
consumer-97540: Offset commit failed with a retriable exception. You should 
retry committing offsets. 
(org.apache.kafka.clients.consumer.internals.ConsumerCoordinator) 
[2017-06-23 17:29:53,085] WARN Auto offset commit failed for group console- 
consumer-97540: Offset commit failed with a retriable exception. You should 
retry committing offsets. 
(org.apache.kafka.clients.consumer.internals.ConsumerCoordinator) 
[2017-06-23 17:29:53,195] WARN Auto offset commit failed for group console- 
consumer-97540: Offset commit failed with a retriable exception. You should 
retry committing offsets. 
(org.apache.kafka.clients.consumer.internals.ConsumerCoordinator) 
[2017-06-23 17:29:53,302] WARN Auto offset commit failed for group console- 
consumer-97540: Offset commit failed with a retriable exception. You should 
retry committing offsets. 
(org.apache.kafka.clients.consumer.internals.ConsumerCoordinator) 
[2017-06-23 17:29:53,409] WARN Auto offset commit failed for group console- 
consumer-97540: Offset commit failed with a retriable exception. You should 
retry committing offsets. 
(org.apache.kafka.clients.consumer.internals.ConsumerCoordinator) 

を、私は、サーバー0、消費者の印刷メッセージを再起動し、いくつかのログ警告：

hhhh 
hello 
[2017-06-23 17:32:32,795] WARN Auto offset commit failed for group console- 
consumer-97540: Offset commit failed with a retriable exception. You should 
retry committing offsets. 
(org.apache.kafka.clients.consumer.internals.ConsumerCoordinator) 
[2017-06-23 17:32:32,902] WARN Auto offset commit failed for group console- 
consumer-97540: Offset commit failed with a retriable exception. You should 
retry committing offsets. 
(org.apache.kafka.clients.consumer.internals.ConsumerCoordinator) 

この混乱しme.Whyサーバーを0はとても特殊で、サーバー0はリーダーではありません。

と私は、サーバー0で印刷されたサーバーのログは以下のように多くの情報を持っていることに気づいた：

[2017-06-23 17:32:33,640] INFO [Group Metadata Manager on Broker 0]: Finished 
loading offsets from [__consumer_offsets,23] in 38 milliseconds. 
(kafka.coordinator.GroupMetadataManager) 
[2017-06-23 17:32:33,641] INFO [Group Metadata Manager on Broker 0]: Loading 
offsets and group metadata from [__consumer_offsets,26] 
(kafka.coordinator.GroupMetadataManager) 
[2017-06-23 17:32:33,646] INFO [Group Metadata Manager on Broker 0]: Finished 
loading offsets from [__consumer_offsets,26] in 4 milliseconds. 
(kafka.coordinator.GroupMetadataManager) 
[2017-06-23 17:32:33,646] INFO [Group Metadata Manager on Broker 0]: Loading 
offsets and group metadata from [__consumer_offsets,29] 
(kafka.coordinator.GroupMetadataManager) 

が、server1とserve2ログは、そのコンテンツを持っていません。

誰かが私のためにそれを説明することができます、ありがとう！

解決済み： _consumer-offsetsトピックのレプリケーションファクタが根本原因です。 issues.apache.org/jira/browse/KAFKA-3959

Answer 1

kafka-console-producerはデフォルトでacks = 1に設定されているため、フォールトトレラントではありません。 acks = allを設定するflagまたはconfigパラメータを追加し、topicと_consumer-offsetsの両方のトピックがレプリケーションファクタ3で作成されていれば、テストは機能します。

Answer 2

これらのサーバーは、コンシューマーグループを管理するための負荷を共有します。

通常、それぞれの独立したコンシューマには一意のコンシューマグループIDがあり、複数のコンシューマ間で消費プロセスを分割する場合は、同じグループIDを使用します。

つまり、リーダーブローカーであること、クラスター内のKafkaサーバーでは、他のブローカーとの調整のためだけにあることです。リーダーは、現在グループIDを管理しているサーバーと（直接的に）何も関係がなく、特定の消費者のためにコミットします。

あなたが購読するたびに、グループのオフセットコミットを処理するサーバーが指定され、これはリーダー選挙とは関係ありません。

カフカクラスターが再び安定するまで（グループ管理者を他のサーバーに移動するために消費者を再配分するか、ノードが再び応答するのを待つ...）、私はエキスパートではありませんフェールオーバーがどのように起こるかを正確に伝えるのに十分です）。