2017-07-17 9 views
1

2つの外部データソースにチェーンされた一連のアクティビティ(合計で4つ)を持つインターバルパイプラインです。現在はすべて正常に動作していますが、スライスの最後、つまり真夜中に実行されます。ADFデータセットの可用性

データは、スライスの日に実際に@ 7pm で利用できるので、私たちは待つ必要はありません。

ソリューション: だから私が持っているすべての外部データソースに設定した場合、:

 "external": true, 
     "policy": { 
      "externalData": { 
       "dataDelay": "-05:00:00" // i.e. 24:00 - 5:00 = 19:00 
      } 
     } 

をこの作品はなります!私が持っている

思考:

  • 私が一致する活動には何も設定する必要がありますか?
  • 実際のスライスの開始/終了を実際に変更したくない場合は、すべてのデータが準備できたら「早く」実行するようにします。
  • パイプライン内の出力データセットと他のすべてのデータセットも何か設定する必要がありますか?

私はここに求めていた理由は、時間を通って移動する能力を持たずに、これは試行錯誤を経てデバッグする痛みのビットであることを誰かに確認してください感知するのでwnatです:)

乾杯!

答えて

0

間隔の開始時にデータを設定できるようにする必要があります。 scheduling in ADFの記事は、あなたの質問に答えて、データセットに設定できる関連プロパティを呼び出す必要があります。

0

あなたは、出力データセットの可用性のセクションの2つの追加属性を使用することによって、これを達成することができます:

"availability": { 
      "frequency": "Day", 
      "interval": 1, 
      "offset": "20:00:00", 
      "style": "StartOfInterval" 
     } 

上記の設定は、日々のパイプラインの@午後8時(20時00分○○秒)をトリガします。

次にパイプラインであなたが[WhateverDate] T 20として開始日を設定する必要があります:00:00Z

関連する問題