MirrorMakerクロスDC展開セットアップ

Question

MirrorMakerに関する質問があります。公式のドキュメント（https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=27846330を参照）では、MirrorMakerが宛先データセンターに配置されていることがわかりました。代わりにソースデータセンターに配置できない理由はありますか？

現在の設定では、MirrorMakerがデスティネーションデータセンターに配置されているため、起動時にパーティションを所有するか、または再調整するだけで時間がかかります。 4データセンターデータセンター の2で

各データセンターがある地域カフカクラスタ

2つの集計カフカクラスタ間

• 6合計カフカクラスタ：

  私たちのセットアップはとても似ています

• 各ローカルカフカクラスタ内で400以上のトピック
• 2それぞれの宛先と同じデータセンターにあるMirrorMakerのグループ4つのローカルカフカクラスタすべてから消費される集約カフカクラスタ
• MirrorMakerインスタンスは
• 当社カフカのバージョンは、私たちの

飼育係

に保存されたオフセットと0.8.2.1です集計クラスタにキャッチして4つのローカルカフカクラスタからすべての正規表現を400件の+トピックを引っ張るように構成されて現在のところ、MirrorMakerの再起動/コンシューマリバランスのパーティション所有には、異なるデータセンターのローカルKafkasから消費するときに30以上の時間がかかります。

私の推測では、パーティション所有権のプロセスは、ソースKafka Zookeepersのデータセンターを経由しなければならないと考えられます。このクロスDC接続は、MirrorMakerパーティションの所有権のプロセスを遅くしています。

私はMirrorMakerをソースデータセンターに移動することを考えていましたが、スタートアップ/リバランスのためにパーティションの所有権を速めることを考えました。しかし、誰かがこの設定を試したことがあり、この方法に問題があったのかどうかは疑問でした。

Answer 1

ミラーメーカーは、上位レベルのコンシューマがソースクラスタから消費するために使用されます。デフォルトでは、ミラーメーカー自体は、再調整中に時間がかかります。あなた自身の問題ではありません。 uReplicator（https://eng.uber.com/ureplicator/）を使用して、ミラーメーカーがどこでどのようにそれを克服したかを見てください。ホープが助けます