気流リモートロギングが動作しない

Question

Apache - Airflow 1.8.1インスタンスが起動しています。

Google Cloud Storageに書き込むための接続（ID）があり、気流ユーザーがバケットに書き込む権限を持っています。私はすべての再起動

（私は任意の構成が、それには触れませんでした）

は私が

remote_base_log_folder = 'gs://my-bucket/log'

remote_log_conn_id = 'my_working_conn_id'

を追加することで、リモートログ保存機能を使用しようとするとそれがすべてですサービスでもログはgcsにアップロードされていません（私のバケットはまだ空です）、ファイルシステムのスペースはまだ減少しています。

gcsでリモートログを正常に有効にしましたか？はいの場合、あなたは何を変えたのですか？

Answer 1

私はGCSにリモートログを取得できます。まず、GCSバケットに書き込む権限をサービスアカウントに与える必要があります。

この私のGCP接続が設定されている：

を次に、airflow.cfgファイル編集：あなたは再初期化、それに必要な、設定ファイルを編集した後

remote_base_log_folder = gs://my-backup/airflow_logs 
remote_log_conn_id = my_gcp_conn 

を再び：

airflow initdb 

# start the web server, default port is 8080 
airflow webserver -p 8080 

「チュートリアル」DAGをオンにしてテストすると、y OUはGCSでローカルとリモートの両方のログを見ることができるはずです。絵と