カフカで同じ話題の消費者数に制限はありますか？

Question

同じ グループ内の同じトピックについて、Kafkaは同時接続（ Consumer.createJavaConsumerConnectorで作成）に制限がありますか？

私のシナリオでは、私は私がハイレベルの消費者の多くを作成する必要がそう、異なるプロセス（ない スレッド）からトピックを消費する必要があります。

Answer 1

主な制限は、このトピックを持つパーティションの数です。パーティションより多くのコンシューマーを作成できますが、消費することはありません。

Answer 2

同じコンシューマグループ内のアクティブなコンシューマの数は、トピックのパーティション数によって制限されます。余分なコンシューマはバックアップとして機能し、アクティブなコンシューマの1つがダウンしてグループが再調整されたときにのみ消費を開始します。

複数のプロセス内で同じデータのコピーを使用する必要がある場合、コンシューマは異なるコンシューマグループに属している必要があります。あなたが持つことができる消費者グループの数に制限はありません。