kafkaのコンシューマが同じパーティションに読み書きする

Question

異なるグループのコンシューマは、同じトピックからパーティションxを読み込み、別のトピックとパーティションyに書き込むことができますか？

私は、ある消費者が他の消費者が処理するデータを破棄する消費者戦略を実装します。 データがプロデューサによって共有パーティションに保存される順序は重要ではありません。

私はちょうどこれが可能

Answer 1

ある場合は、ここでは2つの異なるアプローチ持つことができるかを知りたい：

• 消費者は異なる消費者団体であるが。両方ともすべてのメッセージを受信することを意味し、消費者のメッセージを無視するビジネスロジックに従います。
• コンシューマは同じコンシューマグループに属し、異なるパーティションを受け取ります。消費者に配信されるメッセージは、他者には配信されません。カフカ機能を利用していますが、デフォルトのラウンドロビン方式を使用する場合やメッセージごとのキーやカスタムパーティショナーを使用する場合は、データをどのように分割するかによって異なります。

私が第2の解決策で見る唯一の懸念は、再バランスです。消費者がオフラインになって戻ってくると、再調整が行われ、パーティションが別の方法で配布される可能性があります。私。パーティションP1とP2からコンシューマC1の読み取りを開始し、パーティションP3とP4からC2の読み取りを開始します。 C2がオフラインになったとします。まず、オフラインの場合、C1はすべてのパーティションを取得します（シナリオに適しているかどうかはわかりませんが）。C2がオンラインに戻ると、再分配が行われ、割り当てられたパーティションが異なる可能性があります。 C2（C1ではなく）に、P3とP4はC1（C2ではなく）になります。この種のコンシューマがパーティションでスワップするかどうかは、アプリケーションロジックの問題です。