ADL Storeのフォルダとファイルを照会するための.NET API

Question

設定された間隔ごとにEDSからフィードを取得しています。例：プッシュが8時間ごとに構成されている場合。従業員表の場合、ADLのフォルダ構造は次のようになります。

Employee 
    20171116 
     Employee_20171116_00:00 
     Employee_20171116_08:00 
     Employee_20171116_16:00 
    20171117 
     Employee_20171117_00:00 
     Employee_20171117_08:00 
     Employee_20171117_16:00 

など。

最初のフルプッシュ後、これらのファイルにはデルタレコードがあります（フルプルとデルタモードを区別するためのインジケータがファイル内にあります）。これらのデルタファイルを段階的にプルするウォーターマークアプローチを使用しています。最後に処理したファイルの日付と時刻を保存します。次回の実行時には、最後に実行した後にファイルを保存するように選択する必要があります。したがって、私はすべてのファイル名を昇順で照会し、適切なクライアントAPIを探してそれを探し出す必要があります。

ありがとうございました！

Answer 1

あなたの処理要件に応じて、

1. U-SQLを使用することができます。その場合、ファイルセットを見てください。
2. Azureのデータ湖ストアの.NET SDK：https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-data-operations-net-sdk