再現性データフロージョブを含むjarを作成し、異なるパラメータで実行する(たとえば、異なるアカウントを使用してそれらをプロモートする)ことができます。これにより、ビルドが不変であるため、ロールバックも簡単になります。jarからデータフロージョブを送信する方法は?
私は現在のmavenからDataflowPipelineRunner
でジョブを実行していますが、これはどのように私が直接jarファイルからデータフロージョブを実行できるなど、自動展開で上記の理由から
ひどいのですか?
再現性データフロージョブを含むjarを作成し、異なるパラメータで実行する(たとえば、異なるアカウントを使用してそれらをプロモートする)ことができます。これにより、ビルドが不変であるため、ロールバックも簡単になります。jarからデータフロージョブを送信する方法は?
私は現在のmavenからDataflowPipelineRunner
でジョブを実行していますが、これはどのように私が直接jarファイルからデータフロージョブを実行できるなど、自動展開で上記の理由から
ひどいのですか?
ああ、templatesが必要です。
テンプレートは最も有望な方法ですが、現在、BigQueryに書き込むためのバッチジョブを作成する場合は、ジョブを実行するたびにテンプレートを作成する必要があります。テンプレートの。 this Github READMEで書かれているように、あなたは以下のようなものは、jarファイルを使用してデータフロージョブを送信するために動作するはずmvn package
を呼び出すことにより、バンドルjarを作成することができます
(これはhereを説明されています)。
java -cp target/google-cloud-dataflow-java-examples-all-bundled-manual_build.jar \
com.google.cloud.dataflow.examples.WordCount \
--project=<YOUR CLOUD PLATFORM PROJECT ID> \
--stagingLocation=<YOUR CLOUD STORAGE LOCATION> \
--runner=BlockingDataflowPipelineRunner
これは、私がBigQueryと対話する必要があるため、現在選択している方法です。