2017-10-16 12 views
-1

MYSQLデータベースのデータテーブルに対してETL操作を実行し、データをAzureデータウェアハウスに保存したいとします。私は更新日列を持たず、期間中に変更されたレコードを識別します。どのレコードが変更されているかを知るにはどうすればよいですか? MYSQLデータベースはCDCをサポートしていますか?MYSQL変更データキャプチャ(Azure Data Factory) - Azureサービス(Azureデータファクトリ)

azureサービス(Azureデータファクトリ)を使用してMYSQLバイナリログまたはバイナリログを読み取ることはできますか?

答えて

0

任意の関数と結合を使用して必要なものを返す単一の文クエリをまとめることができる場合は、ADFのsqlReaderQuery部分にその文を入れることができます。

それ以外のストアドプロシージャのアクティビティを使用することができるかもしれません(私はADFだとしてMySQLで申し訳ありませんので、慣れていない)

0

あなたが整数を増加している任意の列を持っていますか?その場合でも、ルックアップアクティビティ+コピーアクティビティ+ストアドプロシージャアクティビティを使用して増分ロードを取得できます。詳細は次のとおりです。https://docs.microsoft.com/en-us/azure/data-factory/tutorial-incremental-copy-powershell

ADFにはまだCDCのサポートが組み込まれていません。コードを使用して、ADFでカスタムアクティビティを実行できます。

0

MySQLでは、デフォルトでrowlevelのアップデートで更新されるタイムスタンプ列を追加することができます。 CDCは利用できませんが、差異を見ることができるときは、あなたのMAX(ETLDate)と比べてMySQLのMAX(更新)と比較してMAX(ETLDate)を比較することができます。

関連する問題