2017-09-08 19 views
0

私はGoogle Dataflowプログラムのバンチ構成ファイルを読んでいて、それらを舞台にする最良の方法が何か不思議です。現在私はこのようにしており、システムはそれらを見つけることができません。Google Cloud Dataflowを使用して追加ファイルをステージングするにはどうすればよいですか?

FileReader filereader1 = new FileReader("config_1.csv"); 
FileReader filereader2 = new FileReader("config_2.csv"); 

config_1.csvconfig_2.csvは私の実行中のスクリプトは次のようになります./target/classes/org/model/examples/

に格納されています。

mvn compile exec:java -Dexec.mainClass=org.model.examples.MyPipeline \ 
-Dexec.args="--runner=DataflowRunner \ 
    --project=mortgage-data-warehouse 
    --gcpTempLocation=gs://my-project-bucket/tmp \ 
    --inputFile=gs://my-project-bucket/Data/input.txt \ 
    --filesToStage=./target/classes/org/datamodel/examples/config_1.csv, ./target/classes/org/datamodel/examples/config_2.csv" \  
-Pdataflow-runner 

私はエラー

java.io.FileNotFoundException持っている:config_1を.csv(指定されたファイルが見つかりません)

--filesToStageを設定するのが適切な方法かどうかと思います。小さな設定ファイルの

+0

を使用しての複雑化を避けるために良いですか?ジョブを送信するときにローカルマシン上で、またはファイルを読み込もうとするときにDataflowジョブ内で 'FileNotFoundException'を取得しますか? –

答えて

0

エラーから完全なスタックトレースを提供することができ、そのようなこのlinkによって書かれたものなどのリソースフォルダからファイルを読み込み、--filesToStage

関連する問題