Spring Kafkaパーティション用の複数のコンシューマ

Question

私たちは、スプリングカフカを使用してメッセージを消費しています。メッセージを受け取るために各パーティションの受信機を作成しました。今では、単一のパーティションからコンシューマメッセージに複数のレシーバが必要な要件があります。

パーティション0があるとします。現在、このパーティションからメッセージを受信するレシーバ（Receiver 1）は1つだけです。 これで、同じパーティション（パーティション0）にもう1つのReceiver（Receiver 2）を追加します。

したがって、Producerが100個のメッセージをこのパーティションに送信する場合は、Receiver 1で50個のメッセージを受信し、残りの50個のメッセージをReceiver 2で受信する必要があります。両方のレシーバクラスが同じグループに属しています（私はprops.put（ "group.id"、 "unique_group_id"）を設定しました）

このシナリオが妥当であるかどうか理解してください。

Answer 1

いいえ、あなたはできません。です。各パーティションは、単一のコンシューマ・グループ内の1つのコンシューマのみが消費できます。

2人の消費者が同じパーティションを消費するようにするには、2人の消費者が2つの異なる消費者グループに属している必要があります。ただし、この場合、両方のコンシューマはこのパーティションのすべてのメッセージを受信します。

あなたが必要と思われるものはworker queueです。 2人のワーカーは1つのキューからメッセージを消費し、各メッセージは1人のワーカーのみが消費します。 ActiveMQ,RabbitMQなど多くのオープンソースworker queuesがあります。

Answer 2

トピックのパーティション数を増やせない場合は、「厄介な」トリックを使用することができます。

R1  R2 
| 100  100 [X] 
| 101 [X] 101 
| 102  102 [X] 
| 103 [X] 103 
v 104  104 [X] 

これは動作しますが、いくつかの結果が生じます。このように、両方の受信機で2つ目の上のオフセット奇数でも、一つの受信機でオフセットとメッセージとpool()廃棄メッセージの後に異なる消費者グループIDを使用します。

• 一つの受信機が死んだ/スタックしている場合、二つ目は、それが別の消費者に仕事
• オフセット管理だ扱うことができない
• （あなたが簡単にパーティションに別の受信機を追加することはできません）スケーラブルではありませんグループは非常に難しい（特に生産者があなたの支配下にない場合）