JDBCからのイベントを削除するKafka Connectソース

Question

私はKafka Connect JDBCコネクタで遊んでいます。具体的には、トピックに載せられているデータの実際の形式は何ですか。

データベースへの新しい挿入と更新が確認できましたが、データベースからの削除を検出できませんでした。

最初：これらの変更を検出するJDBCソースがサポートされていますか？私は何らかの形で文書を見つけることができません。

実際のトピックでは、どのような形式が使用されますか？

Answer 1

Confluent JDBC source connectorは「ソフト削除」をキャプチャすることができます。削除された行はアプリケーションによって単純にマークされますが、実際にはテーブルから削除されません。行はまだそこにあるので、コネクターは変更を見ることができます。ただし、コネクターはであり、では、コネクターはJDBCを介してソース表を照会して、表から除去された行を見ることができないため、表から削除された行を取り込むことはできません。

その他のコネクタはチェンジ・データ・キャプチャ、またはCDCとして知られている技術を使用して、データベースのトランザクションログにタップすることで、すべての変更をキャプチャするか、先にログを書き込むことができます。各DBMSは異なるため、そのDBMS専用に記述されたコネクタが必要です。たとえば、Debezium projectには、MySQL、PostgreSQL、およびMongoDB用のKafka Connectコネクタがあり、OracleおよびSQL Serverのコネクタで作業しています。