2016-12-12 6 views
0

1つの間隔で遅い2つのスケジュールがあります。私の構成は次のようになります気流スケジューラが1つの間隔で遅いです

args = { 
    'owner' : 'test', 
    'start_date' : datetime.now(), 
    'email' : ['[email protected]'], 
    'email_on_failure': True, 
    'email_on_retry' : True, 
    'retries' : 3, 
    'retry_delay' : timedelta(seconds=30) 

} 
dag = DAG(
    dag_id='feed_response', default_args=args, 
    concurrency=4, 
    schedule_interval='0 2 * * 6', 
    dagrun_timeout=timedelta(minutes=20) 
) 

このスケジュールは、先週の土曜日のインスタンスを実行しているはずです。それは前の土曜日に走った。私は私たちの仕事のいくつかのこの動作に気づいた。スケジューラが1つ後ろに遅れているように見える理由はありますか?

実行日を理解する:

答えて

1

この動作は、「共通の落とし穴」セクション(https://cwiki.apache.org/confluence/display/AIRFLOW/Common+Pitfalls)に気流ウィキに記述されてエアフローはETLのニーズのためのソリューションとして開発されました。 ETLの世界では、通常、データを要約します。したがって、2016-02-19のデータを要約するとすれば、2016-02-20 GMTの午前0時20分にそれを行います.2016-02-19のすべてのデータが利用可能になった直後です。

+0

のための動的な値を使用することはお勧めしません。これはなぜそれがこれを行うために昨日の周りに多くのデフォルト変数があるのか​​理にかなっていません。 –

関連する問題