2017-07-14 15 views
0

Google Cloud MLエンジンでジョブを実行しようとしていますが、パーサーに引数として複数のファイルパスを渡すことができません。ここで は私がターミナルに書いているものです:my_data_directoryは私が後で読みたい複数のファイルを含む場合Google Cloud MLエンジンは複数のファイルパスを引数として渡します

JOB_NAME=my_job_name 
BUCKET_NAME=my_bucket_name 
OUTPUT_PATH=gs://$BUCKET_NAME/$JOB_NAME 
DATA_PATH=gs://$BUCKET_NAME/my_data_directory 
REGION=us-east1 

gcloud ml-engine jobs submit training $JOB_NAME \ 
    --job-dir $OUTPUT_PATH \ 
    --runtime-version 1.2 \ 
    --module-name trainer.task \ 
    --package-path trainer/ \ 
    --region $REGION \ 
    -- \ 
    --file-path "${DATA_PATH}/*" \ 
    --num-epochs 10 

、問題は--file-pathが言ったディレクトリ内のファイルの唯一の['gs://my_bucket_name/my_data_directory']とないリストが含まれていることです。

これを修正するにはどうすればよいですか?

事前に感謝します。

答えて

0

-- \行の後に渡す引数はユーザー引数になるので、プログラムがこれらの引数をどのように処理するかは、定義したトレーナーによって大きく異なります。私は戻って、トレーナーのプログラムを修正し、それを異なるディレクトリを治療またはこのような複数のパスを取るのいずれかになるだろう:

gcloud ml-engine jobs submit training $JOB_NAME \ 
    --job-dir $OUTPUT_PATH \ 
    --runtime-version 1.2 \ 
    --module-name trainer.task \ 
    --package-path trainer/ \ 
    --region $REGION \ 
    --scale-tier STANDARD_1 \ 
    -- \ 
    --train-files $TRAIN_DATA \ 
    --eval-files $EVAL_DATA \ 
    --train-steps 1000 \ 
    --verbosity DEBUG \ 
    --eval-steps 100 

独自のトレーナーを開発するための参考になるといくつかのリンク:[1][2]

+0

はい、私は、ファイルのディレクトリを渡して、私のプログラム内からファイルを取得して終了しました。サンプルの例では、サンプルの例では1つのファイル名を使用していますが、1つのユーザー引数で複数のファイル名を渡すことができると考えられました。 – Miguel

関連する問題