Azureデータファクトリ - スライスの処理を強制する方法

Question

私はデータファクトリに毎日のデータスライスを持っています。前のスライスが到着していない場合、処理を中断したいと思います。私は、欠けているスライスが到着するまで、後続のすべてのデータを待ち行列に入れたいと思います。

これはデータ工場で可能ですか？

Answer 1

並行性などのポリシープロパティを定義できます。

"policy": { 
       "timeout": "01:00:00", 
       "concurrency": 1, 
       "executionPriorityOrder": "NewestFirst" 
      } 

同時実行性：1は、一度に1つのスライスしか実行できないことを意味します。したがって、前のスライスが準備完了状態になっていない場合、次のスライスは実行されません。

タイムアウトを使用すると、長時間ハングしているスライスに失敗することがあります。

実行優先順位を使用すると、そのロジックをカスタマイズできます。

Answer 2

同時実行性の設定は、複数のスライスが同時に使用できる場合にのみ機能することに注意してください。各スライスは互いに独立しており、2日前のスライスが失敗したり欠落していても、昨日のスライスが上がって妥当性が確認された場合、処理されます。 パイプラインに出力を作成して、毎日のアクティビティに依存するアクティビティを作成し、日常のアクティビティの入力依存関係にすることができます。そのため、2日前のスライスが処理されなかった場合、実行は開始しません。 これはちょっとした動きですが、出力名にSliceEnd、従属入力にSliceStartを使用して同じ名前を与え、日々の依存関係を維持できるようにする必要があります。

Answer 3

私の以前の回答について考えてみましょうそれがあなたが望むことをすると思います。むしろ、従属入力ファイルがどこにあるべきなのかではないので、スライスプロセスの残りによって障害がリップルします。 スライス間の依存関係を作成することは、データ・ファクトリでは非常に困難です。 私が以前使用した手法の1つは、slicentifierとslicestartを使用して入力データをステージングし、次にストアドプロシージャを使用して関連するスライスを処理することです。いずれかのログが記録されていた場合は、前のログが完了するまで処理できなくなります。これでまだアクティビティは完了していると表示されますが、実際には処理が中断されることはありません。