Google Cloud Machine Learningプロジェクトの画像を保存するのに最適な方法は？

Question

Google Cloud Platformを使用してTensorflowとKerasを使用してMachine Learningプロジェクトを実行しています。私は私のデータセットに約30,000のPNG画像を持っています。ローカルに実行すると、Kerasには画像を読み込むための優れたユーティリティがありますが、Google Cloud Servicesはtensorflow.file_io（Load numpy array in google-cloud-ml job参照）などの特定のライブラリを使用してGCバケットからファイルを読み込む必要があります。

Google Cloud Storageバケットから画像を読み込むには、どのような方法が最適ですか？今私はそれらをバイトとして保存し、1つのファイルから読み込んでいますが、画像をGCバケットから直接読み込むことができれば嬉しいです。

ありがとう、

Answer 1

この投稿は参考になりましたか？

Tensorflow multithreading image loading

それはパフォーマンス的に、あるとして直接イメージをロードするための新しいtf.data.DatasetのAPIを使用しています。したがって、単一のファイルではなく個々のファイルを保存することができます。レコードごとのイメージを含むTFRecordファイルのようなものを使用すると、単一のファイルでより良いパフォーマンスが得られる可能性があります。

希望に役立ちます！