Kafka MirrorMaker - 古いバージョンから新しいバージョン

Question

私はKafkaソースクラスタからKafkaデスティネーションクラスタにミラーリングしたいと思います。ソースクラスタとターゲットクラスタの両方が同じバージョン（たとえば0.10.0.0）になっていても、ソースクラスタが0.8.2.1でターゲットクラスタが0.10.0.0のときに動作していないとすべて正常に動作しています。

誰にも分かりませんか？

ありがとうございます。

Answer 1

この同じ問題が発生しました。 mirrormakerは、ソースとターゲットのクラスタが同じバージョンである場合にのみ動作します。

Answer 2

これは動作しないことが確認できます。私はConfluent Platform 3.0のMirrorMakerを使ってテストしました。私はカフカ0.8.2.2からカフカ0.10.1.1に複製しようとしていました。そして、私はそれらを働かせることができませんでした。 0.8.2.2から0.8.2.2までうまく行き、0.10.1.1から0.10.1.1まで上がった。

また、MirrorMakerは古いものから新しいものへのコンシューマオフセットを同期しません。つまり、古いクラスタで消費されたメッセージは、新しいクラスタで再び消費される必要があります。何らかの種類のTTLが存在しないか、またはアプリケーションロジックが重複メッセージを処理できる場合を除きます。しかし、アプリケーションが数百万のメッセージを処理する必要がある場合は、ロジックの重複をケアしても、リソースの無駄になります。

異なるバージョンの2つのライブクラスタをセットアップし、MirrorMakerを使用してそれらを同期させ、以前のバージョンのコンシューマを古いクラスタから消費し、新しいバージョンのコンシューマが新しいクラスタを消費するようにしましたが、ワーキング。