状況: DAG(日次ETLプロセス)には20のタスクがあります。一部のタスクは独立しており、ほとんどのタスクは依存関係を持っています。Apache Airflow「欲張り」DAG実行
問題: 独立したタスクが失敗した場合、空気の流れが全体DAGの実行を停止し、失敗したとして、それをマークします。
質問: すべての依存関係が満たされている限り、Airflowが強制的にDAGを実行し続けることは可能でしょうか?このように1つの独立したタスクが失敗しても、他のすべてのストリームの実行全体がブロックされることはありません。
このような些細で根本的な問題のように思えますが、他の誰もその行動に問題がないことに本当に驚きました。 (たぶん私は何かが欠けているかもしれません)
これはバグのようです。 Airflow(1.8.2)の最新バージョンはありますか? –
いいえ、私たちは1.8.0です。私はそれについて考えていたはずです。それを聞いてうれしいのは期待された動作ではありません。ありがとう! –