airflow

1熱

1答えて

AIRFLOW_CONN_を使用して気流環境変数にアクセスし、Pythonコードで使用する方法を知っている人はいませんか。パスワードを取得するためにフックを使うことはできますが、pythonでAIRFLOW_CONNを使用してデータベースに接続しようとしています。 Airflow UIとそのドキュメントに接続を保存しました。彼らはconn_idにAIRFLOW_CONN_接頭辞を使用して使用すると

0熱

1答えて

apacheのエアフロータスクのためのunique_idの取得

私は気流が新です。現在、ETLパイプラインの私の会社では、Crontabとカスタムスケジューラ（社内で開発された）を使用しています。すべてのデータパイプ用のApacheエアフローを実装する予定です。そのために、unique_idを各タスクインスタンス/ Dagに対して見つけることができない機能を探索しています。ほとんどのソリューションがマクロとテンプレートで検索されましたが、どれもタスクのuniq

3熱

1答えて

私は多くのリンクを検索しましたが、私が持っている問題に対する解決策は見つかりませんでした。気流UIにキー/ varを渡すオプションがありますが、エンドユーザーがどのキーがどのダグに関連付けられているかを実際に分かりにくいです。次のような機能を実装する方法はありますか。 While running an airflow job, end user will be asked for values t

2熱

2答えて

Apache Airflow Celery Redis DecodeError

最新バージョンのApache airflowを使用しています。 LocalExecutorで始まった。そのモードでは、CeleryExecutorがそれらを使用するために必要だったウェブUIの状態をいくつかのやりとりで除いて、すべてうまくいっていた。 RedisでCeleryエグゼキュータをインストールおよび設定し、RedisをブローカURLおよび結果バックエンドとして設定しました。タスクは、そ

0熱

1答えて

気流Dataprocオペレータがシェルスクリプトを実行する

dataprocクラスタにシェルスクリプトを直接実行する方法はありません。現在、私はpysparkoperator（aonther pythonファイルを呼び出し、このpythonファイルがシェルスクリプトを呼び出す）を介してシェルを実行できます。私は多くのリンクを検索しましたが、今のところ直接的な方法は見つかりませんでした。誰かが私に最も簡単な方法を教えてくれれば、本当に役に立ちます。 shオ

0熱

1答えて

Apache AirflowがFTP/SFTP経由でリモートホストへの接続を確立できない

Apache Airflowを初めて使用していて、これまでに遭遇した問題を解決することができました。私は今、壁に当たっています。私はsftp経由でリモートサーバにファイルを転送する必要があります。私はこれを行う運がなかった。これまでのところ、S3とPostgres/Redshiftの接続をそれぞれのフックで取得して、さまざまなDAGで作業しています。 SFTPを使用してリモートホストに接続する方

0熱

1答えて

DAG障害のグローバルアラート

現在、100個以上のDAGが稼動しています。 on_failure_callbackとアラートを追加する方法と、上流側の障害によってトリガーされたオペレータに気付いていますが、Airflow自体を構成して、DAGが失敗したときに電子メールを送信して、個別に失敗したら？私の知る限りでは

4熱

1答えて

エアフローを使用してmysqlレコードを取得して処理する方法は？

私は私が進むべき道がわからないよ 1. run a select query on MYSQL DB and fetch the records. 2. Records are processed by python script. する必要があります。 xcomはここに行く道ですか？また、MYSQLOperatorはクエリを実行するだけで、レコードをフェッチしません。私が使うことがで

0熱

1答えて

気流のためにtoxを実行中にエラーが発生しました

気流に寄与しようとしていますが、Ubuntu 16.0.4で毒性が上がることはありません。ケルボで何かが起こっている。 https://github.com/apache/incubator-airflow py34-hdp-airflow_backend_postgres runtests: commands[2] | sudo /home/dalupus/incubator-airflow/s

1熱

1答えて

エアフローダグのpostgres_operatorに関する問題

現在、Airflow 1.8.2を使用してEMRタスクをスケジュールし、Redshiftクラスタで長期実行クエリを実行しています。その目的のために、私はpostgres_operatorを使用しています。クエリの実行には約30分かかります。しかし、作業が完了すると、接続は決して終了せず、オペレーターは毎回2時間マークで終了するまで1時間半以上実行されます。終了時のメッセージは、サーバーが予期せず接