非常に大きなデータによるテンソルフロー処理

Question

テンソルフロー（600000,20,64,64）でロードして使用しようとしている大きな画像ファイルがあります。 feed_dictをバッチサイズで使用したかったのですが、配列が大きすぎてnumpy配列にロードすることさえできませんでした。配列全体をロードする必要のないメソッドを使用できますか？

Answer 1

"feed_dict"メソッドは小さなデータに対してのみ有効です。大きなデータの場合、tfrecordまたはcsvの形式があり、テンソルフロー入力データキューにデータを入れるチャンクによって別のスレッドで読み取ることができます。 HDDから読み取るデータの詳細はこちら - how to read data in tensorflowです。

生データからtfrecordsを調製する方法が示されているa nice blogもあります。