Azureデータファクトリデータの移行

Question

これは明示的な質問であるか、単なる入力の問い合わせであるかわかりません。私はAzure Data Factoryを見て、データ移行操作を実装しています。私がしようとしているのは、次のとおりです。

私は2つのコレクションを持つNo SQL DBを持っています。これらのコレクションは、共通のプロパティを介して関連付けられています。 属性/列を介してNo SQL DB Collections内のデータに関連するデータを持つMS SQL Server DBがあります。

NoSQL DBコレクションの1つは定期的に更新され、もう1つは頻繁に更新されません。

私がしたいことは、3つのDBのすべての場所からデータを取得するデータファクトリのパイプラインを、共通の属性に基づいて結合することです。新しいデータセットが作成されます。次に、このデータセットから、データセット内のデータを別のSQL Server DBにプッシュします。

これはデータ・ファクトリ内でどのように行われるべきかについては少し不明です。コピーアクティビティがありますが、単一のデータセット入力でしか動作しないので、私はそれを直接使用することはできません。私は、新しいデータセットを作成するために入力データセットをマッサージすることに特有のように見えるデータ変換アクティビティのコンセプトがあることを知っていますが、私がしたいアクティビティにどのようなものが関連するのかは不明です。

カスタムアクティビティと呼ばれる特別なアクティビティがあります。これは、ユーザー定義の定義であり、必要なものを実行できるように開発できます。これは、私が必要とすることができることに最も近いと思われますが、これが最適な解決策であるかどうかはわかりません。

3つの異なるソースからのデータを結合する必要がある場合でも、3つのデータソースのマージがどのように機能するかについてはっきりしていませんが、データセットがちょうど元のソースデータのスナップショットを作成することで、データが失われる可能性があると思うようになりました。どこかのデータをどこかに公開するというコンセプトが必要なのかどうかはわかりませんが、実際には同じデータに対して2つのストアを維持しているようです。

この情報は参考になります。

Answer 1

あなたがやろうとしていることはたくさんあります。 SSISの経験があるかどうかはわかりませんが、これらの統合ツールのいずれかでかなり一般的です。

Your ADF diagram should look something like: 
1. You define your 3 Data Sources as ADF Datasets on top of a 
corresponding Linked service 
2. Then you build a pipeline that brings information from SQL Server into a 
temporary Data Source (Azure Table for example) 
3. Next you need to build 2 pipelines that will each take one of your NoSQL 
Dataset and run a function to update the temporary Data Source which is the ouput 
4. Finally you can build a pipeline that will bring all your data from the 
temporary Data Source into your other SQL Server 

ステップ2と3は、どのソースがマスターであるかによって切り替えることができます。

ADFは、複数のタスクを1つずつ実行するか、同時に実行できます。論理ジョブでタスクを分解するだけで、ソリューションには問題はありません。