分割回帰データをhdf5（Caffe）に変換する方法

Question

データをhdf5に変換するために@ shaiのコードを使用していますが、データのサイズを変換した後、サイズが大きすぎます（2GB） so、my質問はどうやってデータを分割すべきか？ データを個別に変換する必要があるのは、必要なものだけですか？

Answer 1

もっと良い回答を得るためには、より多くの情報があると便利です。 Caffeがあなたに与える実際のエラーを教えてください。また、正確に2GBを超えるものは何ですか？それはtxtファイルですか？

HDF5はあまり効率的ではありません。データベースレイヤー（http://caffe.help/manual/layers/data.html）を使用するか、独自のカスタマイズされたPythonレイヤー（http://caffe.help/manual/layers/python.html）を書くことをお勧めします。