Azure Data Lake StoreとWebJob/Azure機能付きAzure SQL

Question

Azure Data LakeにWEB API応答ファイルをアップロードする必要があります。 次に、これらのファイルをAzure SQLテーブルにダンプする必要があります。

上記の両方のプロセスは、1時間ごとに実行するようスケジュールする必要があります。 Azure Web JobまたはAzure機能を使用する必要があります。

Answer 1

Azure関数をConsumption Planで実行している場合、関数呼び出しは5分以内に完了する必要があります。これは大きなデータセットでは不十分かもしれません。

その他の機能とWebジョブは、ご使用のシナリオに似ています。機能は実際にWebジョブの上で実行されています。また、機能の高度な機能（バインディングなど）が必要ない場合は、ジョブに行くことになります。

Answer 2

Azure Data Factoryはおそらく、この定期的な時間パイプラインを駆動するためのより良いメカニズムです。詳細はこちら。

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution