__consumer_offsetsパーティションにデフォルト値の50があるのはなぜですか？

Question

__consumer_offsetsパーティションカウントがデフォルト値の50になるのはなぜですか？つまり、offsets.topic.num.partitionsのデフォルト値は50です.offsets.topic.num.partitions = 1を使用することもできます。

Answer 1

__consumer_offsetsは、コンシューマが初期オフセットを取得するために作業を開始するときや、最後に処理されたオフセットをコミットするときなど、さまざまなシナリオで使用されます。したがって、デフォルトで自動的に行われるオフセットとコンシューマとブローカの数に応じて、__consumer_offsetsというパーティションの数は、オフセットトラックのパフォーマンスと信頼性に直接影響を与える可能性があります。したがって、デフォルト値はほとんどの設定にとっては良い出発点ですが、アプリケーションに応じて最適化する必要があることを知っておく必要があります。

Answer 2

Kafkaは実際にはパーティションを介してデータを分割することでスケールを調整し、多くのサーバーに分散させることができます。これは、コンシューマ・グループ・データを格納するために使用されるこの内部トピックに対して特に当てはまります。

また、この設定はデプロイメント後に変更できないため、比較的大きなデフォルト値を持つことが理にかなっています。これにより、クラスターは数十人のブローカーからこの内部トピックのスケーリングの問題を起こさずに成長することができます。

ハードウェアリソースが非常に限られている場合は、1に設定できますが、推奨しません。私の経験から、私の開発環境では50個のパーティションを持つコストが無視できることがわかりました。