気流を設定する方法DAGを連続して実行する

Question

気流を使用してスパークジョブをスケジュールする場合、DAGを「連続して実行」する必要があります.DAGを実行したいだけで、終了すると新しいDAGインスタンスを再度作成します。
1.一つだけDAGインスタンスが同時に実行できるようにし、より頻繁に 2.
を見て、それが必要とされる時にキックオフするために別のDAGをお持ちのDAGを実行します。

は、私は私の心の中で2つのオプションがあります。

誰にでも実装してもらえますか？提案？ありがとう！

Answer 1

なぜ気流が必要ですか？ スパークジョブに無限ループを実装できます。より効率的に思える。