apache-airflow

1熱

2答えて

オペレータの外でエアフローマクロを使用する方法はありますか？スキャナを呼び出すときに、「DS」の値が予想される実行日に置き換えられますので datestamp = '{{ ds }}' print(datestamp) # prints string not the date when I run it for any date scanner = S3KeySensor( ta

0熱

1答えて

動的にタスクのリストを作成します

リストのためにDynamoDBにクエリを実行することによって作成されるDAGを持っています。リスト内の各アイテムについて、タスクはPythonOperatorを使用して作成され、DAGに追加されます。以下の例では表示されませんが、リストの項目のいくつかは他のタスクに依存するので、私はset_upstreamを使用して依存関係を強制しています。 - airflow_home \- dags

2熱

2答えて

気流initdbを、はAttributeError中：モジュールclient_auth '

」オブジェクトが属性を持っていない' 私は最近、Apacheの空気の流れ1.8.1をインストールしている、私は以下のコマンドを実行：次のエラーが返さ airflow initdb ：を Traceback (most recent call last): File "/usr/bin/airflow", line 18, in <module> from airflow.bi

4熱

1答えて

エアフローのデフォルトon_failure_callback

私のDAGファイルでは、失敗した場合にスラックを投稿するon_failure_callback（）関数を定義しています。私はDAG内の各演算子のために指定した場合、それはうまく機能：on_failure_callback = on_failure_callback（）は、（例えば、または私のDAGオブジェクト経由でdefault_args経由）の全てへの発送を自動化する方法はあります私の演算子

0熱

1答えて

まだすべてのタスクをエアフローと並行して実行できません

私はthis questionのように設定されたタスクを持っています。それは、依存関係のように見えるUIに基づいては、明確に定義されている：次のように私は、個々のタスクをテストした：airflow test capone_dash_preproc AAAG5608078M2 2017-07-25を。これは素晴らしい、そのユーザーに対応するターゲットデータベースのエントリを更新します。しかし、私

0熱

2答えて

気流で複数のタスクを生成するときの上流/下流関係を逆にした

この質問に関連する元のコードはhereです。私はDAGで定義したタスクループの中で、ビットシフト演算子とset_upstream/set_downstreamのメソッドがうまく動作しています。次のようにDAGのメイン実行ループが設定されている場合： for uid in dash_workers.get_id_creds(): clear_tables.set_downstream(i

0熱

1答えて

Airflowでの展開の仕組みは？

私はセラーリーエグゼキュータを使用しています。この設定はdockerfileです。ダグを/usr/local/airflow/dagsディレクトリにスケジューラのコンテナに展開しています。私はコマンドを使用して、私のDAGを実行することができるよ： $ docker exec airflow_webserver_1 airflow backfill mydag -s 2016-01-01 -e

2熱

1答えて

はどのようにして、リンク、次のIを発見したTriggerDagRunOperator

を使用して-dagエアフローをトリガします。このドキュメントでは、Airflow独自のサンプルダグを使用していますが、センサを使用していないため、それらを理解するのは難しいです。誰かがTriggerDagRunOperatorとSqlSensorを使用して個別のダグを開始する方法を説明できますか？私はSQL Serverの仕事の仕事が終わったときに別々のDAGを開始しようとしています。私はSql

4熱

1答えて

エアフローカスタムjinja2フィルタ

エアフローjinja2テンプレート用のカスタムフィルタを追加しようとしています。： S3の私のフォルダが /年/月/日/ のようなものですので、私の目的は、変数にyesterday_dsを使用することですが、このような画面s3：//logs.web.com/AWSLogs/ {{yesterday_ds | get_year}}/{{yesterday_ds | get_month}}/{{ye