Caffeを使用してトレーニングデータセットを使用すると、HDF5ファイルが複数回ロードされる

Question

hdf5ファイルを使用してデータセットをトレーニングしていて、ログにhdf5ファイルが3回ロードされているというメッセージが表示されます。なぜ私はそれが不思議でしたか？訓練のための

私は、私の知る限りでは、複数使用している場合GPUshdf5ファイルは各GPUに対して複数回ロードされていることであるがわかってきたように4 GPUs

0830 10:51:06.050088 24335 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt 
I0830 10:51:06.055855 24336 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt 
I0830 10:51:06.066175 24335 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259 
I0830 10:51:06.071753 24336 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259 
I0830 10:51:06.878861 24337 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt 
I0830 10:51:06.900501 24337 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259 

Answer 1

を使用しています！これにより問題が発生する可能性があります。hdf5ファイルでトレーニングする場合は、複数のGPUsを使用することをおすすめしません。