0
私はGoogle Dataflowプログラムのバンチ構成ファイルを読んでいて、それらを舞台にする最良の方法が何か不思議です。現在私はこのようにしており、システムはそれらを見つけることができません。Google Cloud Dataflowを使用して追加ファイルをステージングするにはどうすればよいですか?
FileReader filereader1 = new FileReader("config_1.csv");
FileReader filereader2 = new FileReader("config_2.csv");
config_1.csv
とconfig_2.csv
は私の実行中のスクリプトは次のようになります./target/classes/org/model/examples/
に格納されています。
mvn compile exec:java -Dexec.mainClass=org.model.examples.MyPipeline \
-Dexec.args="--runner=DataflowRunner \
--project=mortgage-data-warehouse
--gcpTempLocation=gs://my-project-bucket/tmp \
--inputFile=gs://my-project-bucket/Data/input.txt \
--filesToStage=./target/classes/org/datamodel/examples/config_1.csv, ./target/classes/org/datamodel/examples/config_2.csv" \
-Pdataflow-runner
私はエラー
java.io.FileNotFoundException持っている:config_1を.csv(指定されたファイルが見つかりません)
--filesToStage
を設定するのが適切な方法かどうかと思います。小さな設定ファイルの
を使用しての複雑化を避けるために良いですか?ジョブを送信するときにローカルマシン上で、またはファイルを読み込もうとするときにDataflowジョブ内で 'FileNotFoundException'を取得しますか? –