エアフローの現在のジョブを抑制する方法は？

Question

私はAirflowの初心者です。しかし、私は現在、気流の現在の仕事を抑制する方法に取り組んでいます。気流の同時性やスロットルについて少し知っている人はいますか？どんな提案も役に立つかもしれません。 ありがとうございました。

Answer 1

タスクをダグで調整する場合は、その「同時性」パラメータを定義する必要があります。

"同時実行性"は、DAGが実行できるタスクインスタンスの数を定義します。 は、それ以上のものがキューに入れられます。

あなたは、グローバルタスクを絞る設定ファイル

エグゼキュータへの設定として、並列処理の量のこの行に見たい場合は

。これは同時に この気流のインストール

並列処理= 32

そして

上のスケジューラによって同時に実行することが許可されたタスクインスタンスの数を実行する必要がありますタスクインスタンスの 最大数を定義します

dag_concurrency = 16

最初はグローバル、2番目はすべてのダグの同時実行のデフォルト値