カフカ消費者団体の問題

Question

私はカフカの初心者です。私はカフカのドキュメンテーションを一目見ました。サブスクライバ・コンシューマ・グループにディスパッチされたメッセージは、コンシューマ・インスタンスにパーティションをバインドすることによって実装されているようです。

私たちがApache Kafkaで作業するときに覚えておくべき重要なことは、同じ消費者グループの消費者数が、消費されたトピックのパーティション数以下であることです。そうしないと、超過消費者はトピックからのメッセージを受信しません。

非プロード環境では、トピックパーティションを設定しませんでした。そのような場合、Kafkaには1つのパーティションしかありません。複数のコンシューマが同じグループを共有してトピックに登録すると、そのメッセージは常にグループ内の同じインスタンスに送信されますか？つまり、コンシューマ・グループの負荷分散機能を使用するためにトピックをパーティション化する必要がありますか？

ありがとうございます！

Answer 1

あなたは本当に正しいです。 1つのパーティションをパラレルで処理することはできません（1つのコンシューマグループによって）。パーティションはアトミックとして扱うことができ、分割することはできません。

トピックごとに同じ量のパーティションでnon-prodとprod envを設定すると、prodに移動する前に正しいconumsersの数とcatchの問題を見つけるのに役立ちます。