2017-03-31 22 views
3

エアフローを使用してクライアントレポートを生成する場合、すべてのクライアントをループするDAGを1つ作成し、レポートを生成するタスクを起動します。クライアントのリストは、DAGの最初のタスクによって収集され、ハードコードされません。エアフローDAGの動的タスク生成

基本的には、リストを生成するためにPython演算子でデータベースフックを使用するタスクがあります。次に、リスト内の各項目について、その項目がPython関数の引数として渡されるPython演算子を使用してタスクを実行したいと考えています。これを達成するために私が使用できる一定のパターンがありますか?

答えて

0

Trigger_dag概念

リストを生成するために、Pythonのオペレータのデータベースフックを使用してタスクが」コントローラDAGタスクこととにtrigger_dagにリスト内の各項目を通過させparamsセクション。

あなたは

グッドラック!

+0

あなたの気流のインストールにしてくれてありがとうを例フォルダの参照を見つけます答えは@priyankですが、私はまだ理解していません。 'TriggerDagRunOperator'の中の' python_callable'はparamsを読むことができますが、単一のdagオブジェクトを返すだけでdagを作成することができます。私は 'TriggerDagRunOperator'を毎回違うparamsでN回実行する必要があります。タスク(またはDagRuns)からのファンアウトはどこで行われますか? – MarkAWard

関連する問題