2017-12-16 16 views
1

Google Compute EngineインスタンスにApacheのエアフローをインストールしたようです。すべてがうまくいっていたし、2日前にDAGの実行がすべて実行中の状態になってしまった。私はLocalExecutionerを使用しています。Apache Airflow - ログファイルがローカルでないとエラーが発生しました。エラーと例外がポップアップしています

私は、ログを見しようとすると、私はこのエラーを取得:

*ログファイルは、ローカルではありません。 *ここで取得:http://:8793/log/collector/aa_main_combined_collector/2017-12-15T09:00:00 ***ワーカーからログファイルを取得できませんでした。

私はどこにも触れていませんでした。すべての設定ファイルを調べてログをスキャンしたが、このエラーが表示される

[2017-12-16 20:08:42,558] {jobs.py:355} DagFileProcessor0 ERROR - 例外があります!伝播... トレースバック(最新のコール最後): ファイル "/usr/local/lib/python3.4/dist-packages/airflow/jobs.py"、行347、ヘルパー内 pickle_dags) ファイル "/ "/ usr/local/lib/usr/local/lib/python3.4/dist-packages/airflow/utils/db.py"、行53、ラッパー 結果= func(* args、** kwargs) ファイル "/ usr/local/lib/"/ usr/local/lib/python3.4/distsパッケージ/ airflow/jobs.py"、行1584、プロセスファイル内 self._process_dags(dagbag、dags、ti_keys_to_schedule) ファイル "/usr/local/lib/python3.4/dist-packages/airflow /jobs.py "、行1173、_process_dags内 dag_run = self.create_dag_run(ダグ) ファイル" /usr/local/lib/python3.4/dist-packages/airflow/utils/db.py "、53行目、ラッパーで result = func(* args、* * kwargs) ファイル "/usr/local/lib/python3.4/dist-packages/airflow/jobs.py"、763行目、create_dag_run内 last_scheduled_run = qry.scalar() ファイル "/ usr/local/lib /python3.4/dist-packages/sqlalchemy/orm/query.py "、2843行目、スカラーで ret = self.one() ファイル" /usr/local/lib/python3.4/dist-packages/sqlalchemy " /orm/query.py "、2814行目、 ret = self.one_or_none() ファイル" /usr/local/lib/python3.4/dist-packages/sqlalchemy/orm/query.py "、2784行目、 リターンself._execute_and_instances ITER でone_or_none RET =リスト(自己) ファイル "/usr/local/lib/python3.4/dist-packages/sqlalchemy/orm/query.py"、ライン2855、中(コンテキスト) ファイル "/usr/local/lib/python3.4/dist-packages/sqlalchemy/orm/query.py"、行2878、_execute_and_instances内 結果= conn.execute(querycontext.statement、self._params) ファイル "/usr/local/lib/python3 "/ usr/local/lib/python3"// usr/local/lib/python3.4/dist-packages/sqlalchemy/engine/base.py "、行945、実行中 メタル(自己、multiparams、params) ./execute_clauseelement(self、multiparams、params) ファイル "/usr/local/lib/python3.4/dist-packages"を参照してください。 /sqlalchemy/engine/base.py "、行1053、_execute_clauseelement compiled_sql、distilled_pa​​rams ファイル" /usr/local/lib/python3.4/dist-packages/sqlalchemy/engine/base.py "、1189行目_execute_co "/usr/local/lib/python3.4/dist-packages/sqlalchemy/engine/base.py"、行1405、_handle_dbapi_exception内 util.reraise(* exc_info) ファイル "/ usr /ローカル/ lib/python3.4/dist-packages/sqlalchemy/util/compat.py "、行187、reraise raise値 ファイル" /usr/local/lib/python3.4/dist-packages/sqlalchemy/engine /ベース。py "、行1182、_execute_context内 コンテキスト) ファイル" /usr/local/lib/python3.4/dist-packages/sqlalchemy/engine/default.py "、行470、do_execute内 cursor.execute(statement、 0

どれ:(0) SystemExitをsigint_handlerのパラメータ) ファイル "/usr/local/lib/python3.4/dist-packages/airflow/bin/cli.py"、ライン69、 sys.exitできるだけ早く私は手動で起動するようそうすることで、私は。

ロング別の問題を発見し、それの短いけれどもそこの考え?

答えて

0

私はこの問題を解決しスケジューラを終了し、すべてが再び機能しました。問題は、スケジューラがシステムの再起動後に正しく再起動されなかったということです。

私はSystemDを介してスケジューラを実行しています。 Webserverのサービスは正常に動作します。しかし、私はスケジューラー.serviceが継続的に再起動することに注意してください。解決しなければならない問題があるようです。この部分は現在解決されています。ログURLで

0

見て、それは+特殊文字と日付で終わるかどうかを検証:

&execution_date=2018-02-23T08:00:00+00:00

これはhereを修正しました。

あなたは-ため+を交換するか、私の場合には、すべての特殊文字を置き換えることができます。

&execution_date=2018-02-23T08%3A00%3A00%2B00%3A00

これはhereを発生します。

FileTaskHandlerはローカルディスクからログをロードできず、ワーカーからロードしようとします。

このエラーの原因となった別の原因としては、airflow/logsフォルダまたはその内部のサブフォルダが除外されていることが挙げられます。

関連する問題