私は2つのKAFKAクラスターを持っており、私は鏡メーカーを使ってトピックをあるクラスターから別のクラスターにミラーリングしていると言います。私は、カフカクラスター内の__consumer-offsetトピックへのオフセットをコミットするために、コンシューマーに組み込みプロデューサーがいることを理解しています。プライマリカフカクラスターがダウンした場合にどうなるかを知る必要がありますか? __consumer-offsetトピックも同期していますか?セカンダリクラスタにはブローカやその他の設定が異なる可能性があるため、いいえとは思えません。カフカのミラーリングされたクラスタで顧客オフセットをどのように維持していますか?
kafkaミラークラスタが消費者オフセットをどのように処理するか教えてください。
ここでauto.offset.resetの設定が重要ですか?
お返事ありがとうございます。 コミットされたオフセットを持つプライマリクラスタが停止するとどうなりますか? Kafkaのドキュメントに「消費者は各リクエストでオフセットを指定しています」と述べています。 消費者はすべてのカフカをミラーリングするか、またはカフカクラスタをミラーリングして、オフセットを新しい適切なオフセットに再マッピングしますか?私は理にかなったと思う。 – moodylearner
わかりません。新しいブローカーホスト/ポートを設定する必要があるか、または他のクラスターへのフェールオーバーをどのように処理する必要があるかのように、コンシューマーを再起動する必要があると想定し、この再始動によってオフセットが削除されます。したがって、回避策として、定期的に、アプリケーションのコンシューマから最新のコミット済みオフセットを取得し、新しいクラスタへのフェールオーバー後に新しいコンシューマを初期化するときにseek()で使用することができます。ただし、フェールオーバー中に消費者が死亡した場合、オフセットは完全に失われてしまいますので、これを完全にフォールトトレラントにする必要はありません。 –
@moodylearner私は自分の答えを更新しました。 –