Googleのデータフロー用のワークフローオーケストレーション

Question

Google Dataflowを使用してバッチデータを処理し、ワークフローオーケストレーションツールのいくつかのオプションをAzkabanがHadoopと同様のものを探しています。我々が探しているものがある

キーの事、

• ワークフロー
• スケジュールのワークフローの設定
• 監視と警告失敗したワークフロー
• 失敗したジョブを再実行する機能

我々 Pentahoを評価しましたが、これらの機能はエンタープライズ版のexpensiv e。 現在、Azkabanはjavaprocessジョブタイプをサポートしているため、Azkabanを評価中です。しかし、Azkabanは主にHadoopジョブ用に作成されているため、Hadoopインフラストラクチャとの統合が深く、その後は単純なjavapプロセスです。

オープンソースのソリューションや非常に低コストのソリューションをお勧めします。

Answer 1

Apache Airflow（https://github.com/apache/incubator-airflow）がニーズを満たす必要があり、データフロー演算子（https://github.com/apache/incubator-airflow/blob/master/airflow/contrib/operators/dataflow_operator.py）があるようです。