Azure Data Factory - ブロブストレージから新しいファイルを読み取る方法

Question

私は、新しいInsightに基づいて新しいファイルを作成するアプリケーションのインサイトで「連続エクスポート」プロセスを使用しています。

私はAzure Data Factoryを使用して、Blob Storageデータで1つのSQLテーブルをロードするプロセスを持っています。

問題： 私は、A.D.F.からBLOBストレージから新しいファイルのみを読み取ることができませんし、私はいつも同じデータを処理しています。現時点では、SQLストアドプロシージャのロードプロセスの後で繰り返されるデータは無視していますが、BLOBストレージから新しいデータのみを読み取ることでこのプロセスを効率的にしたいのですが、A.D.F.からこれを行うことはできますか？ 誰でも助けてくれますか？これを達成するための代替手段はどれですか？

よろしく、これを達成するための選択肢がある

Answer 1

ルイ・フェルナンデス？

WebJobが受け入れられる場合、WebJob blobトリガーを使用して簡単に行うことができます。私たちは、デモコードが続きAzureのofficial document.

からWebJobトリガーについての詳細情報を取得できます。

public static void ProcessBlobTrigger([BlobTrigger("containername/{name}")] TextReader input, TextWriter log) 
     { 
      // your logic to process data 
     } 

Answer 2

私はあなたがプログラムで（カスタムパイプライン）古いブロブをアーカイブするreccomendそれらの名前を変更する「アーカイブ/ oldBlobName」で！その後、コード内でセグメント化されたBLOBの結果（データセットで指定したコンテナに含まれるBLOBのリスト）を繰り返し処理するときに、名前が "Archive"で始まるものをエスケープするだけです。

 foreach (IListBlobItem listBlobItem in blobList.Results) 
     { 
      CloudBlockBlob inputBlob = listBlobItem as CloudBlockBlob; 

      // Take all blobs from container that are not in "Archive" 
      if ((inputBlob == null) || string.IsNullOrEmpty(inputBlob.Name) 
          || inputBlob.Name.ToLower().StartsWith("Archive")) 
      { 
       continue; 
      } 
        ...