気流上でデータフロージョブを実行するためのjarパス

Question

まず、私は気流に慣れていません。私がやろうとしているのは、エアフローを使ってデータフロージョブを実行することです。 多くのリンクが検索され、jarファイルを作成してからそれを実行できるエアフロースクリプトを使用する必要があることがわかりました。誰でもこの瓶を置くべき場所を知っていますか、グーグルクラウドバケットかローカルパスを意味します。気流を通してテンプレートを直接実行できますか？

Answer 1

ここで見つけることができるAirflowプロジェクトにはGoogle Cloud Dataflow operatorがあります。

データフロージョブを指定する方法のコード例があります。 jarへのパスが定義されています（コードの50行目を参照）。スケジュール設定しているマシンのjarファイルへのパスを指定する必要があります（Airflowマシンのローカルパス）。