エアフロー構造のDAGの/組織とタスク

Question

私の質問：

• あなたのDAGやタスクを整理するためには良いのディレクトリ構造とは何ですか？ （ダグの例では、いくつかのタスクしか表示されません）
• 私は現在ダグのフォルダのルートにダグを持っていて、別のディレクトリにタスクを持っています。
• zipファイルを使用する必要がありますか？ https://github.com/apache/incubator-airflow/blob/a1f4227bee1a70531cfa90769149322513cb6f92/airflow/models.py#L280

Answer 1

私は他の人と同様にフォルダ構造をベンチマークすることが大好きです。たぶんそれはあなたが気流を使用しているものに依存しますが、私は私の場合を共有します。

2. （唯一の少数の人々への直接アクセス）データ・湖に大量のデータをダンプのデータのロード：ハイレベルで、私は基本的に2つのステップを持っているので、私は、データウェアハウスを構築するために、データパイプラインをしていますデータレークからデータをモデリングしてダッシュボードアプリケーションに公開する（データをモデル化する多くのSQLクエリ）

今日、上記のロジックを反映するように3つのメインフォルダにファイルを整理します。

├── dags 
│   ├── dag_1.py 
│   └── dag_2.py 
├── data-lake 
│   ├── data-source-1 
│   └── data-source-2 
└── dw 
    ├── cubes 
    │   ├── cube_1.sql 
    │   └── cube_2.sql 
    ├── dims 
    │   ├── dim_1.sql 
    │   └── dim_2.sql 
    └── facts 
     ├── fact_1.sql 
     └── fact_2.sql 

これは私の基本的なフォルダ構造です。