apache-airflow

1熱

2答えて

FTPサーバー上のファイルをチェックするダグがあります（エアフローは別のサーバーで実行されます）。ファイルが存在する場合、ファイルはS3に移動します（ここでアーカイブします）。そこから、ファイル名がSparkサブミットジョブに渡されます。スパークジョブは、S3（異なるサーバー上のスパーククラスタ）を介してファイルを処理します。私は複数のダグを持つ必要があるかどうかはわかりませんが、ここではその流れ

2熱

2答えて

Apache Airflow - 完了時にDAGを再実行する（ファイルセンサー）

おはようございます。私はネットワークフォルダプロセスをヒットするファイルのファイルアーカイブファイル使用のセットアップにDAGすぎウォッチ/感覚をしようとしているチュートリアルオンラインとstackoverflow私は目標を達成する次のDAGとオペレータを考え出すことができましたが、私はDAGを再スケジューリングして、完了時に再実行してwatcを開始するようにします他のファイルのヒンジ/

0熱

1答えて

気流を1.8.0から1.8.1にアップグレードすると、一時停止したダグが再開しましたか？

最近、気流を1.8.0から1.8.1にアップグレードしました。アップグレードはうまくいったが、Webサーバーとスケジューラーを再起動すると、すべての一時停止ダグが自動的に再開され、停止した日付から複数の実行を開始した。それはユーザーデータの大部分を混乱させ、手動でクリーンアップする必要があります。将来のアップグレードでこの問題を防ぐ方法を教えてください。

0熱

1答えて

同じAirflowバージョンでairflow upgradedbコマンドを実行すると安全ですか？

エアフローには、エアフローのバージョンをアップグレードするときに実行する必要があるupgradedbコマンドがあります。

3熱

2答えて

エアフローに新しいDAGを追加するにはどうすればよいですか？

私はtutorial_2.pyというファイルにDAGを定義しました（実際には、をtutorial_2に変更した場合を除き、airflowチュートリアルで提供されているtutorial.pyのコピーです）。私は私のデフォルトの内部を見る、（ ~/airflowにあります）無修正 airflow.cfgは、私が dags_folderが /home/alex/airflow/dagsに設定されている

2熱

1答えて

エアフローを使用するための環境変数を設定するにはどうすればよいですか？

環境変数を見つけることができないというDAGを実行しようとすると、Airflowがエラーを返します。これは、私がPython変数として格納している3つの環境変数を見つけることができるためです。これらの変数にはまったく問題はありません。私は~/.profileにすべての4つの変数を持っているともairflow実行を何ユーザーのもと export var1="varirable1" export

0熱

2答えて

エアフローは：とデータの可用性のためのビッグクエリ出力からの応答を取得する方法を結果に基づいて、タスクをキックオフ/ subdags

要件があるkick off dag based on data availability from upstream/dependent tables ながら（反復のn個の数のビッグクエリでテーブルの）条件チェックデータの可用性利用可能なデータをチェックする。利用可能なデータであれば、サブダグ/タスクを開始します。どのようにWHERE TIMESTAMP BETWEEN 日時（ FROM を選択

0熱

1答えて

2台のサーバーの気流を設定するにはどうすればよいですか？

気流プロセスを2台のサーバーに分割しようとしています。既にスタンドアロンモードで稼働しているサーバーAにはDAGがあり、新しいセットアップで追加のサーバーを使用して作業者として設定したいと考えています。サーバBは、MySQLでメタデータデータベースをホストする新しいサーバです。サーバーAでLocalExecutorを実行できますか、またはCeleryExecutorを使用する必要がありますか？