airflow-scheduler

0熱

2答えて

ブロークンDAG Broken DAG: [/data/airflow/dags/copy_from_Oracle_to_MySQL.py] No module named Oracle_to_MySQL_plugin について気流ショー情報に私がデータ/気流/ DAGを/からDAG copy_from_Oracle_to_MySQL.pyでファイルを移動しようとしました。しかし、空気の流れ

1熱

1答えて

DAGがエアフローで実行を終了すると、XCOMオブジェクトを削除する方法

XCOMに大規模なjsonファイルがありますが、これは後でDAGの実行が完了しても不要ですが、XcomオブジェクトはすべてUIデータ、DAGの実行が完了したら、プログラムでXCOMを削除する方法はありますか？は、DAGの実行が終了するとXCOMを削除するには、そのタスクを追加する必要が

0熱

1答えて

スケジューラがジョブをキューに入れない

KubernetesでAirflowをテストしようとしています。スケジューラー、ワーカー、キュー、およびWebサーバーはすべて異なる展開であり、私は自分のタスクを実行するためにセルリーエグゼキュータを使用しています。スケジューラがジョブをキューに入れることができないという事実を除いて、すべてがうまくいきます。気象は、Web UIやCLIから手作業で実行すると、うまくタスクを実行できますが、スケジ

1熱

1答えて

ダフに追加された気流のバックフィル新しい仕事

今日は2017-10-20と言うことができます。私は今日まで成功している既存のダグを持っています。 2017-10-01のstart_dateでタスクを追加する必要があります。 2017-10-01から2017-10-20までのスケジューラートリガータスクを自動的に作成する方法は？

0熱

2答えて

エアフローを使用して、終わりのないタスクを実行できますか？

タスク/ダグタイムアウトをNoneに設定し、手動で実行中のトリガをトリガすることによって、終わりのないジョブ（ストリームデータを消費する無条件ループを持つタスク）を定義できますか？気流が決して終わりのない仕事をモニターすることは問題を引き起こすでしょうか？ありがとう

0熱

1答えて

エアフロー内でダグを手動で実行中エラー

テストフローとバックフィルコマンドで正常に実行されたエアフロー内にDAGを作成しましたが、エアフローUIから手動で実行するとエラーが発生します。私の問題に対する解決策はありますか？ DAGはLocalExecutorで動作します。 UIエアフローでエラーログ： *** Log file isn't local. *** Fetching here: http://:8793/log/test/

2熱

1答えて

どちらがApache OozieまたはApache Airflowを選択しますか？比較が必要

私はジョブスケジューラを初めて使い、大きなデータクラスタ上でジョブを実行するために探していました。私は利用可能な選択肢と全く混同していました。 OozieにTWS、Autosysなどの既存のものに比べて多くの制限があることが判明しました。気流と賛否両論の比較ポイントが必要です。あなたのお手伝いをお待ちしております。

0熱

1答えて

環境変数の気流設定が動作しない

ENV変数を使用して接続URLを設定しようとしましたが、alchemy_connとbroker_urlなどであらかじめ設定されているamiがあります。 amisはairflow.cfgファイルのプロパティをオーバーライドします。私はPythonコードからも変数にアクセスすることができました。しかし、ariflowを実行中に有効にするにはいないようですが、同様のプロセスを再起動しようとしたがうまく

3熱

1答えて

エアフローのWebサーバが実行されていません

m DjangoのAirflowで電子メールスケジューラを設定していますが、動作しません。ターミナルでエラー： airflow webserver [2017-12-29 10:52:17,614] {__init__.py:57} INFO - Using executor SequentialExecutor [2017-12-29 10:52:17,734] {driver.py:12