は、私は特定のトピックに1つのワーカーで分散モードでカフカConnnectインスタンスの情報を送信しようとした別のカフカトピック

Question

にカフカの接続の異なるインスタンスを送信し、私は「archive.properties」ファイルのそれをトピック名を持っていますインスタンスを起動するときに使用します。

しかし、私は5つの以上のインスタンスを送信するとき、私はメッセージはすべてのトピックに合併参照してください。

「ソリューションは、」私はIDと話題の関係を格納するためのマップを作成したと思ったが、それは

これを行うには、特定のカフカ接続の実装があり

を働いていないのですか？

ありがとうございました。

Answer 1

最初に、どのように接続を実行しているか、どのコネクタを使用しているかの詳細は非常に役立ちます。

一部のコネクタは、複数のトピックにデータを送信する機能をサポートしています。たとえば、confluent-jdbc-sinkは各テーブルを別々のトピックに送ります。これは、使用しているコネクターの制限になる可能性があります。

はまた、コネクタおよびユースケースに応じて - あなたは、複数のコネクタを実行する必要があるかどうか。 JDBCコネクタでは、データベースごとに1つのコネクタが必要で、すべてのテーブルを処理します。同じデータベースと同じテーブルで2つのコネクタを実行すると、重複が発生します。

あなたのコネクタには参考になる資料があります。

我々はシングルメッセージへの変換を追加しているApacheのカフカの次のリリースで

。変換の1つは、イベントのデータに基づいてターゲットトピックを変更できるため、変換を使用してイベントルーティングを実行できます。