apache-airflow

1熱

1答えて

DAGがエアフローUIから停止されたときにタスクを実行するフックはありますか？

0熱

2答えて

タスク/ダグタイムアウトをNoneに設定し、手動で実行中のトリガをトリガすることによって、終わりのないジョブ（ストリームデータを消費する無条件ループを持つタスク）を定義できますか？気流が決して終わりのない仕事をモニターすることは問題を引き起こすでしょうか？ありがとう

0熱

1答えて

エアフローの出力を参照

私はAirflowを初めて使用しています。私は私が私のDAGを参照してくださいWebサーバーのインタフェースを使用する場合 from airflow.models import DAG from airflow.operators.python_operator import PythonOperator import datetime DAG = DAG( dag_id='exa

1熱

2答えて

Apache Airflow - ログファイルがローカルでないとエラーが発生しました。エラーと例外がポップアップしています

Google Compute EngineインスタンスにApacheのエアフローをインストールしたようです。すべてがうまくいっていたし、2日前にDAGの実行がすべて実行中の状態になってしまった。私はLocalExecutionerを使用しています。私は、ログを見しようとすると、私はこのエラーを取得： *ログファイルは、ローカルではありません。 *ここで取得：http://:8793/log/co

0熱

1答えて

ダグ内の気流の上流のタスクをクリア

私は気流DAGの中にタスクを持っています。 3つの子タスクがあります。残念ながら、この親タスクが成功するケースがありますが、3人の子どものうちの2人が失敗します（子どもの再試行は失敗しません）。（失敗していなくても）再試行する必要があります。私はdagのグラフビューに行き、この親タスクとすべての下流タスク（+再帰的）を 'クリア'します。私はダッグ自体の中でこれを行うことができますか？

2熱

1答えて

どちらがApache OozieまたはApache Airflowを選択しますか？比較が必要

私はジョブスケジューラを初めて使い、大きなデータクラスタ上でジョブを実行するために探していました。私は利用可能な選択肢と全く混同していました。 OozieにTWS、Autosysなどの既存のものに比べて多くの制限があることが判明しました。気流と賛否両論の比較ポイントが必要です。あなたのお手伝いをお待ちしております。

0熱

1答えて

気流 - depends_on_pastとtrigger_ruleは同じですか？

airflow.models.BaseOperatorにあります。 trueに設定すると成功するために、前のタスクのスケジュールを頼りながら、タスクインスタンスは順次実行されます - ドキュメント depends_on_past（ブール値）によると depends_on_past=Falseとtrigger_rule=u'all_success' ：あなたは、2つのデフォルトのパラメータを持ってい

0熱

1答えて

エアフローCIセットアップダグ

エアフローDAGをgit repoにプッシュし、ジェンキンジョブをWebhookを使用して実行したい場合は、そこから新しいDAGを取得するために何をすればいいですか？ gitリポジトリからdagbagを埋めるユーティリティ/演算子はありますか？そうでない場合、誰かが新しいDAGでdagbagsをどのように設定するのかを教えてください。

0熱

1答えて

Apache Airflow DAGはローカルモジュールをインポートできません

モジュールをApacheのエアフローDAG定義ファイルにインポートする方法はわかりません。これを行うと、同様の設定の宣言タスクをあまり冗長にしないライブラリを作成できるようになります。これは、私が問題を再現していると考えることができる最も簡単な例です。エアフローチュートリアル（https://airflow.apache.org/tutorial.html#recap）を変更してモジュールをイン

3熱

1答えて

エアフローのWebサーバが実行されていません

m DjangoのAirflowで電子メールスケジューラを設定していますが、動作しません。ターミナルでエラー： airflow webserver [2017-12-29 10:52:17,614] {__init__.py:57} INFO - Using executor SequentialExecutor [2017-12-29 10:52:17,734] {driver.py:12