Kafka `__consumer_offsets`トピックに大きな負荷がかかることはありますか？

私はカフカクラスター（Kafka 0.11.0.0）で簡単に観察できます。Kafka `__consumer_offsets`トピックに大きな負荷がかかることはありますか？

jmx情報によれば、__consumer_offsetsのトピックには常に他のすべてのトピックのすべてのメッセージの合計よりも10倍多くのメッセージがロードされます。私はこのトピックにコンソールコンシューマーを接続しました。私は同様の値を測定できます。

何故その理由が考えられますか？
カフカブローカーが何をしているのかを確認し、そのような負荷を独自に生成するにはどうすればよいですか？

出典

2017-11-10 Seweryn Habdank-Wojewódzki

を持っているカフカ11使用フォーマッタ"kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter"

ため

bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server brokers --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" --new-consumer --consumer.config consumer.conf

をどんなgroupIdがロードされるかを知ることができます。それは研究に役立つはずです – Natalia

ヒントをありがとう。しかし、このトピックのメッセージはバイナリであり、何も表示されません:-(。 –

__consumer_offsets話題読むために：あなたは__cosumer_offsetsトピックを読めばconsumer.confは1行

exclude.internal.topics=false

出典

2017-11-10 14:07:18 Natalia

--formatter "kafka.coordinator.GroupMetadataManager \ $ OffsetsMessageFormatter" - 新規コンシューマスレッド "main"の例外java.lang.ClassNotFoundException： kafka.toolsでjava.lang.ClassLoader.loadClass（ClassLoader.java:424）で ... でjava.net.URLClassLoader.findClass（URLClassLoader.java:381）でkafka.coordinator.GroupMetadataManager $ OffsetsMessageFormatter 。 ConsoleConsumer $ ConsumerConfig。（ConsoleConsumer.scala：318） at kafka.tools.ConsoleConsumer $ .main（ConsoleConsumer.scala：51） at kafka.tools.ConsoleConsumer.main（ConsoleConsumer.scala） –

kafka_2.12-0.11。 0.1 –

yep。wo 9と10のrks。私は11 – Natalia

Kafka `__consumer_offsets`トピックに大きな負荷がかかることはありますか？

答えて

関連する問題