2017-04-26 3 views
0

再現性データフロージョブを含むjarを作成し、異なるパラメータで実行する(たとえば、異なるアカウントを使用してそれらをプロモートする)ことができます。これにより、ビルドが不変であるため、ロールバックも簡単になります。jarからデータフロージョブを送信する方法は?

私は現在のmavenからDataflowPipelineRunnerでジョブを実行していますが、これはどのように私が直接jarファイルからデータフロージョブを実行できるなど、自動展開で上記の理由から

ひどいのですか?

答えて

0

テンプレートは最も有望な方法ですが、現在、BigQueryに書き込むためのバッチジョブを作成する場合は、ジョブを実行するたびにテンプレートを作成する必要があります。テンプレートの。 this Github READMEで書かれているように、あなたは以下のようなものは、jarファイルを使用してデータフロージョブを送信するために動作するはずmvn packageを呼び出すことにより、バンドルjarを作成することができます

(これはhereを説明されています)。

java -cp target/google-cloud-dataflow-java-examples-all-bundled-manual_build.jar \ 
com.google.cloud.dataflow.examples.WordCount \ 
--project=<YOUR CLOUD PLATFORM PROJECT ID> \ 
--stagingLocation=<YOUR CLOUD STORAGE LOCATION> \ 
--runner=BlockingDataflowPipelineRunner 

これは、私がBigQueryと対話する必要があるため、現在選択している方法です。

関連する問題