パーティションはどのようにKafka Brokerに分割されますか？

Question

私はパーティションがKafka Brokerに分割されていることを知っています。しかし、分割は何に基づいていますか？たとえば、3つのブローカと6つのパーティションがある場合、各ブローカに2つのパーティションがあることを確認する方法はありますか？この分割は現在カフカでどのように行われていますか？

Answer 1

割り当てポリシーは内部実装の詳細であり、任意の時点で変更される可能性があるため、文書化されていません。したがって、このアルゴリズムには依存しないでください。さらに、この内部戦略に流入/設定することはできません。

基本的なポリシーは、ロードバランスを保証することです。つまり、他のパーティションよりも割り当てられているブローカにはパーティションを割り当てます。つまり、各ブローカには2つのパーティションが割り当てられます。

さらに、パーティションレプリカの場合、「ラック対応」ポリシーが適用されます（Kafka 0.10以降）。つまり、可能な場合は、ラック全体が故障した場合にオフラインパーティションを再度ガードするために、パーティションレプリカが異なるラックに割り当てられます。この詳細については、KIPを参照してください。https://cwiki.apache.org/confluence/display/KAFKA/KIP-36+Rack+aware+replica+assignment