「いいえそのようなファイルやディレクトリは」エラー研修ジョブ

Question

を提出した後、私は実行します。

gcloud beta ml jobs submit training ${JOB_NAME} --config config.yaml

と、このエラーで約5分のジョブのエラーアウト後：

Traceback (most recent call last): 
File "/usr/lib/python2.7/runpy.py", line 162, in _run_module_as_main "__main__", fname, loader, pkg_name) 
File "/usr/lib/python2.7/runpy.py", line 72, in _run_code exec code in run_globals 
File "/root/.local/lib/python2.7/site-packages/trainer/task.py", line 232, in <module> tf.app.run() 
File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/platform/app.py", line 30, in run sys.exit(main(sys.argv[:1] + flags_passthrough)) 
File "/root/.local/lib/python2.7/site-packages/trainer/task.py", line 228, in main run_training() 
File "/root/.local/lib/python2.7/site-packages/trainer/task.py", line 129, in run_training data_sets = input_data.read_data_sets(FLAGS.train_dir, FLAGS.fake_data) 
File "/usr/local/lib/python2.7/dist-packages/tensorflow/contrib/learn/python/learn/datasets/mnist.py", line 212, in read_data_sets with open(local_file, 'rb') as f: IOError: [Errno 2] No such file or directory: 'gs://my-bucket/mnist/train/train-images.gz' 

奇妙事は、私が知る限りでは、そのファイルがそのURLに存在しています。

Answer 1

このエラーは、通常、出力にマルチリージョンGCSバケットを使用していることを示します。このエラーを回避するには、regional GCS bucketを使用する必要があります。リージョナルバケットは、これらのタイプのエラーを回避するために必要な、より強力な一貫性保証を提供します。 //正しく：適切GCSのGSに対処する方法を知らないCloud ML Docs

Answer 2

ノーマルIOを参照してくださいクラウドMLのためのGCSバケットの設定方法の詳細については

。次のものが必要です。

first_data_file = args.train_files[0] 
file_stream = file_io.FileIO(first_data_file, mode='r') 

# run experiment 
model.run_experiment(file_stream) 

しかし皮肉なことに、あなたはGSからファイルを移動することができます：//あなたのプログラムは、実際に見ることができ、あなたのルートディレクトリにバケツ：

with file_io.FileIO(gs://presentation_mplstyle_path, mode='r') as input_f: 
    with file_io.FileIO('presentation.mplstyle', mode='w+') as output_f: 
     output_f.write(input_f.read()) 

mpl.pyplot.style.use(['./presentation.mplstyle']) 

そして最後に、ファイルを移動しますルートバックからgs：//バケットへ：

with file_io.FileIO(report_name, mode='r') as input_f: 
    with file_io.FileIO(job_dir + '/' + report_name, mode='w+') as output_f: 
     output_f.write(input_f.read()) 

IMOが簡単になります。