セロリ実行時のエアフローエラー

Question

dockerインスタンスにrabbitmq、mysql db、およびセロリエグゼキュータの設定で気流が設定されています。 以下のように、最初の個別のステップ/オペレータを実行コマンドでトリガします。私たちは以下のように埋め戻しコマンドを経由して、全体のDAGをトリガーするとき

airflow run wfm_model_training_client_1_queue_11 fetch_top_funnel_data 2016-03-03 

はしかし、我々はセロリの実行中に次のエラーが発生します。明らかにこれはセロリのエラーですが、同じログをデバッグするためにどのようにログを抽出すればよいですか？トレースバックカラム内celery_taskmetaテーブルの

埋め戻しコマンド

airflow backfill wfm_model_training_client_1_queue_11 -s 2016-03-03 -e 2016-03-03 

セロリエラー

Traceback (most recent call last): 
    File "/usr/lib/python2.7/site-packages/celery/app/trace.py", line 367, in trace_task 
    R = retval = fun(*args, **kwargs) 
    File "/usr/lib/python2.7/site-packages/celery/app/trace.py", line 622, in __protected_call__ 
    return self.run(*args, **kwargs) 
    File "/usr/lib/python2.7/site-packages/airflow/executors/celery_executor.py", line 59, in execute_command 
    except subprocess.CalledProcessError as e: 
AirflowException: Celery command failed 

Answer 1

エラーは、いくつかのピクルス関連の問題によるものでした。 --donot_pickle引数をバックフィルコマンドに渡して、この問題を回避しました。それが更新コマンド

airflow run wfm_model_training_client_1_queue_11 fetch_top_funnel_data 2016-03-03 --donot_pickle