複数のクラスタカフカ設定

Question

各クラスタに3カフカブローカ、およそ5トピックと5パーティションにカフカブローカーをそれぞれ1つずつ、約3人の動物園のインスタンスを持つ複数のカフカクラスタをセットアップしたいと思います。私が参照できる設定ガイドはありますか？

PS：複数のカフカブローカーを持つ単一の動物園のインスタンスの情報は見つかりますが、複数の動物園のインスタンスを持つ設定は見つかりません。

Answer 1

初心者用ガイドを見つけることができるはずですが、Apache Kafka documentationには質問に対するすべての回答が含まれています。一般的に、私たちはカフカのセットアッププロセスを無痛で経験しました。

Zookeeperインスタンスの数は奇数で、> = 3でなければなりません。1つのZookeeperインスタンスでは、単一障害点が発生します。

ところで、トピックごとに5つのパーティションがかなり低いようです。いつでもパーティションの数を増やすことができます。より多くのパーティションを使用することで、より多くのコンシューマを使用できるようになりますが、コンシューマプロセスのメモリ使用量も増えます。コンシューマは、所有するパーティションごとに一定数のKafkaメッセージをバッファリングするためです。参考のため、同様の設定を使用し、トピックごとに60個のパーティションを使用します。