Azureデータファクトリでインクリメンタルフルアップロードを処理する方法

Question

2つのblobストアを持つAzureストレージアカウントがあります。 Aフルとインク 完全版ではフルアップロードが必要なときはいつでもフルアップロードCSVファイルを配置します。Incでは日々小さなインクリメンタルCSVファイルを配置します。 私たちはすべてのデータを最初にステージングし、次にODSと最終的にEdw（Enterprise DW）にロードします。 フルアップロードは、テーブルに構造的な変更がある場合にのみ必要です。

基本的に2つのアップロードの間の唯一の違いは、フルもODSとEDWにすべてのデータをclearesが、パイプラインでsamesストアドプロシージャを実行し、...

誰がどのように上のヒントを持っているということですそのような状況をAzureデータファクトリで処理します。 データファクトリを2倍にしたくないのですが、出力データセットの使用可能/頻度が異なるため、出力データセットと同じステージング論理（データファクトリ内）を使用することはできません。

ヒントは高く評価されています...

Answer 1

まず最初に明白なことに、ADFは他のAzureサービスを呼び出すだけであり、それ自体は何もしません。だから問題は本当にあります。 Azureのどのサービスがこの作業を行い、この状況を管理するためにADFから呼び出すことができましたか？それに答えるために

...

オプション1：私はあなたがAzureのデータ湖を見てお勧めします。上記で説明したUSQLのプロシージャを、さまざまな種類の動作のためにADFからUSQLプロシージャに渡すことができるプロシージャを記述しました。

作成するコードは、TSQLオブジェクトと同様にAzure Data Lake Analyticsデータベースに保存できます。次に、通常のブロブの代わりにAzure Data Lake Storageを使用することもできます。

オプション2： Azure Data Factoryのカスタムアクティビティを作成し、必要なものを正確に実行するための一連のクラスを作成します。また、ADFが渡されたパラメータを使用するか、または「フル」表の内容をチェックするためのメソッドにロジックを組み込みます。ただし、これにはさらに多くの開発作業が必要で、Azureバッチサービスが必要です。