データベーステーブルを同期させるためのApache Kafka Connect/Streams API

Question

私はConnect APIのKafkaドキュメントを読んで、問題のドメインに関連付けることを試みていました。私はすべての更新/挿入/削除で同期する必要がある共通のテーブルを持つ複数のデータベースがあります。 exmapleはこれです：

1）誰かがDB1でテーブル「order_history」を更新 - 私は

2）誰かが「PURCHASE_ORDER」にレコードを挿入、更新はDB2/DB3などに伝達することにしたい - 私が欲しいですDB2/DB3などと同じ挿入が行われるようにインサートをDB2/DB3などに伝えることができます。

3）テーブルはすべてのデータベースにあります。

これらは、データベース全体ではなく、特定のテーブルセットでのみ実行されます。私は接続APIドキュメントから理解することは、私は、次を提供する必要があるということです。

1）ソースコネクタ輸入データ - SQL /ファイルシステムからカフカのトピックに沈むコネクタはデータをエクスポート

2） - カフカのトピックからにしかし、それでは、Connect APIにはまだトピックに書き込み/読み込みが含まれているため、複数のデータベーステーブルを挿入/更新/削除に同期させることがどのように関係するかを理解しようとしています。必然的に私のユースケースです。私はKafkaストリームについても見てきましたが、データ集約やカウンター管理については効率的なツールのように思えます。

私の前提が正しいかどうかは誰でも説明できますが、Streams/Connect APIをまだ探索する必要がありますか？

よろしく、

Answer 1

はい、あなたが別のデータベースから変更を適用するにはカフカConnectを使用することができます。通常、CDCツールを使用してソースデータベースのREDO /トランザクションログから直接イベントを取得し、各イベントをKafkaトピックにプッシュします。たとえば、Oracle GoldenGateまたはDebeziumプロジェクトがその例です。

Kafkaのトピックでは、Kafka ConnectのJDBCシンクを使用して、これらの変更をターゲットデータベースにプッシュできます。

これは、CDCレコードに操作を示す列（削除など）があり、行がになるため、ターゲット内で直接削除をミラー化する必要がある場合があります。この値でターゲットにを挿入しました。

しかし、文字通りあるDBから別のDBにテーブルセットをミラーリングする場合は、Kafkaではなくデータベース複製ツールを検討する必要があります。

カフカは、ある場所から別の場所にイベントをストリーミングしたい場合（削除イベントを保存する場合は、ターゲットから削除する場合）、同じデータを使用して他のターゲットに着陸するオプションを使用するか、他の直接アプリケーションを駆動します。これは、Kafka Streams、Kafka Consumer、またはKafkaと統合されている他の多数のテクノロジーやツールのいずれかである可能性があります。

Kafkaストリームに関しては、ソースデータベースから取得したデータに対してジョイン/フィルタリング/アグリゲーションなどの処理を行う場合に便利です。Kafka Streamsで直接Javaコードを記述するだけでなく、Kafkaの上にSQLのようなインターフェイスを使用するオプションが用意されています（KSQL from Confluent）。