Azureデータ工場でパイプラインの二重実行を禁止

Question

これはちょっと混乱しやすいタイトルかもしれませんが、anythigにはうまくいかないかもしれません。 問題... 3つのアクティビティを持つADFパイプラインがあります。まず、DBにコピーしてから、ストアドプロシージャを2回実行します。すべてが翌日に起動され、WindowEndを使用して正しいディレクトリを読み込むか、SPにデータを渡します。

私たちが受け取っているXMLファイルにインポート日付を取得する方法はありません。

私はそれを最初のSPに追加しようとしています。 問題は、パイプラインからの最初のアクションが完了してから2回が開始されることです。

同じスライスの2番目のアクションは、日付を追加するSPですが、履歴が読み込まれた場合、同じPipelineが別のスライスのコピーを再び開始します。

私はデータが混ざっています。 「最後の試行開始」で確認できます。 誰もこれを避ける方法を考えていますか？誰かが同様の問題に当たった場合

ADF Monitoring

Answer 1

... は、私が毎日という名前のテーブルを操作することによって、問題を解決してきました。 各スライスは、そのデータを_YYYYMMDDでステージングテーブルに格納した後、"tableName": "$$Text.Format('[stg].[filesin_1_{0:yyyyMMdd}]', SliceEnd)"に設定できます。 これでもう並列性が問題になることはありません。 唯一の欠点は、SPを最初に選択した後に来るSPが、それらが選択しているテーブル名が可変であるため、Dynamic SQLで動作する必要があることです。 しかしそれは大きなコーディングの問題ではありませんでした。 魅力的な作品です！