カフカはいつリーダーを変えますか？

Question

私はカフカですでに1年間働いていて、指導者の自発的な変化は起こっていません。 しかし、始めの2週間はかなり頻繁に起こります。 カフカは、そのログオン：

• [2015年9月27日15：35：14826] INFO [ReplicaFetcherManagerブローカ2に]パーティション[myTopic（kafka.server.ReplicaFetcherManager）
• ため 削除フェッチャ[ [2015-09-27 15：35：14,830] INFOログmyTopic-0をオフセット11520979に切り捨てる（kafka.log.Log）
• [2015-09-27 15：35：14,845] WARN [Broker 2のレプリカマネージャ]：ブローカ2（kafka.server.ReplicaManager）のパーティション[myTopic、0]のリーダがローカルでないため、パーティション[myTopic、0]のクライアントReplicaFetcherThread-0-2からの相関ID 713276要求が失敗しました
• [2015-09-27 15：35：14,857] WARN [Broker 2のレプリカマネージャ]：パーティション[myTopic、0]のクライアントmirrormaker-1からの相関ID 256685の要求を、パーティションのリーダーではないために失敗しました[myTopic 、0]ブローカー2（kafka.server.ReplicaManager）
• [2015-09-27 15：35：20,171] INFO [ブローカー2のReplicaFetcherManager]パーティション[myTopic、0]（kafka.server.ReplicaFetcherManager ）

スイッチングリーダーの原因は何ですか？カフカのドキュメントに情報がある場合は、リンクをクリックしてください。私は見つけられませんでした。

---

システム構成

カフカバージョン：kafka_2.10-0.8.2.1

OS：Red Hat Enterprise LinuxにServerは

server.properties（異なりデフォルトから（サンティアゴ）6.5をリリース）：

• broker.id = 001
• socket.send.buffer.bytes = 1048576
• socket.receive.buffer.bytes = 1048576
• socket.request.max.bytes = 104857600
• log.flush.interval.messages = 10000
• ログ.flush.interval.ms = 1000
• log.retention.bytes = -1
• 真= controlled.shutdown.enable
• auto.create.topics.enable = falseを

Answer 1

リードブローカーがそのパーティションに対して停止しているようです。 server.propertiesで構成されたdata directroy（log.dirs）の容量が不足していて、ブローカーが対応できない可能性があります。 また、トピックの複製要因とブローカのクラスタサイズはどのくらいですか？

Answer 2

私はあなたが1つのトピックと1つのパーティションに複製係数2を持っていると仮定しています。最適なカフカのパフォーマンスとコンシューマにとっては適切な構成ではありません。

リーダースイッチのログが不明です。トピックの主な問題は、唯一のパーティションのために唯一のリーダーを持つ可能性があります。ログの中の1つのファイルが日々大きくなっています。カフカはあるレベルで内部的にバランスを取っています（詳細は確認されていません）。それがあなたのリーダーのスイッチの理由です。しかし、私は確信していません。

また、2番目のログ行には、ログの一部が切り捨てられているというメッセージがあります。ログを細部に渡ってチェックしてください。これは切り捨て後にのみ起こりますか？

すでに言及したように、Kafkaのログディレクトリファイルとそのサイズを確認しています。この問題が発生したときに説明を実行してください。リーダースイッチもここに反映されます。また、過去のリーダーを表示するダッシュボードをいくつか設定することができます。そうすれば根本的な原因を簡単に見つけることができます。

bin/kafka-topics.sh --describe --zookeeper Zookeeperhost:Port --topic TopicName 

提案：私は複数のパーティションに新しいトピックを作成することを示唆して（パーティションの最適な数について良いアイデアを得るためにカフカのドキュメントを読んで）と、それへの書き込みを開始します。または、現在のトピックのパーティションを変更する方法を確認できます。

最後のこと：リーダースイッチがお客様の問題を引き起こしているか、警告についてのみ心配していますか？