HDF5出力Caffeレイヤーが、一見不適切な寸法のデータを書き込むのはなぜですか？

Question

与えられたCaffe層の出力をファイルに書きたいと思っています。私は複数の画像でこれをやりたいので、HDF5出力レイヤーのコードをいくつか変更して、各画像の特徴を含む画像ごとにファイルを作成できるようにしました。ここでは修正SaveBlobs機能は次のとおりです。

template <typename Dtype> void HDF5OutputLayer<Dtype>::SaveBlobs() {        
    LOG(INFO) << "Saving HDF5 file " << file_name_ << "ds: " << ds_iter_; 
    CHECK_EQ(data_blob_.num(), label_blob_.num()) <<      
     "data blob and label blob must have the same batch size";   

    // Open hdf5 file to write this blob         
    file_name_ = this->layer_param_.hdf5_output_param().file_name();   
    ostringstream appender;             
    appender << "_" << ds_iter_ << ".h5";         
    file_name_.append(appender.str());          
    file_id_ = H5Fcreate(file_name_.c_str(), H5F_ACC_TRUNC, H5P_DEFAULT, 
         H5P_DEFAULT);          
    CHECK_GE(file_id_, 0) << "Failed to open HDF5 file" << file_name_;   

    // Write the data and label            
    hdf5_save_nd_dataset(file_id_, HDF5_DATA_DATASET_NAME, data_blob_);  
    hdf5_save_nd_dataset(file_id_, HDF5_DATA_LABEL_NAME, label_blob_);   
    LOG(INFO) << "Successfully saved " << data_blob_.num() << " rows";   
    LOG(INFO) << "SAVEBLOB - Data size is: " << data_blob_.shape_string(); 
    LOG(INFO) << "SAVEBLOB - Label size is: " << label_blob_.shape_string(); 

    // Close the file              
    herr_t status = H5Fclose(file_id_);          
    CHECK_GE(status, 0) << "Failed to close HDF5 file " << file_name_;   

    // Update iterator for next image          
    ds_iter_++;                
} 

私は成功し、実際にデータが含まれていない画像ごとにファイルを作成することができていますので、コードはほとんど素晴らしい作品。残念ながら、ログに表示されるディメンションと結果の出力ファイルに表示されるディメンションの両方が正しくないため、間違ったデータが書き込まれているようです。私は（ネットワークprototextで）私の出力層を指定するのはここです：私は、ネットワークのセットアップを観察するとき、conv5_3のトップのための寸法であるため、誤ったデータが保存されていることを信じるため

layer {                 
    name: "conv5_3"               
    type: "Convolution"              
    bottom: "conv5_2"              
    top: "conv5_3"               
    param {                 
    lr_mult: 1               
    decay_mult: 1               
    }                  
    param {                 
    lr_mult: 2               
    decay_mult: 0               
    }                  
    convolution_param {              
    num_output: 512              
    pad: 1                
    kernel_size: 3              
    }                  
}                   
layer {                 
    name: "relu5_3"               
    type: "ReLU"               
    bottom: "conv5_3"              
    top: "conv5_3"               
}                   

#===== Data Logging =======            

layer {                 
    type: "HDF5Output"              
    name: "hdf5output"              
    bottom: "conv5_3" #             
    bottom: "conv5_3" #             
    hdf5_output_param {             
    # File name is only a base           
    file_name: "./test_features/image"         
    }                  
} 

私の理由があります

次のように示される：私は間違って寸法が現れていることを、私は私のログに表示モデルに推論を実行すると

I0206 23:07:44.815330 7630 layer_factory.hpp:77] Creating layer conv5_3_relu5_3_0_split 
I0206 23:07:44.815343 7630 net.cpp:106] Creating Layer conv5_3_relu5_3_0_split 
I0206 23:07:44.815348 7630 net.cpp:454] conv5_3_relu5_3_0_split <- conv5_3 
I0206 23:07:44.815356 7630 net.cpp:411] conv5_3_relu5_3_0_split -> conv5_3_relu5_3_0_split_0 
I0206 23:07:44.815366 7630 net.cpp:411] conv5_3_relu5_3_0_split -> conv5_3_relu5_3_0_split_1 
I0206 23:07:44.815372 7630 net.cpp:411] conv5_3_relu5_3_0_split -> conv5_3_relu5_3_0_split_2 
I0206 23:07:44.815382 7630 net.cpp:411] conv5_3_relu5_3_0_split -> conv5_3_relu5_3_0_split_3 
I0206 23:07:44.815459 7630 net.cpp:150] Setting up conv5_3_relu5_3_0_split 
I0206 23:07:44.815467 7630 net.cpp:157] Top shape: 1 512 14 14 (100352) 
I0206 23:07:44.815474 7630 net.cpp:157] Top shape: 1 512 14 14 (100352) 
I0206 23:07:44.815479 7630 net.cpp:157] Top shape: 1 512 14 14 (100352) 
I0206 23:07:44.815484 7630 net.cpp:157] Top shape: 1 512 14 14 (100352) 
I0206 23:07:44.815495 7630 net.cpp:165] Memory required for data: 116006912 
I0206 23:07:44.815500 7630 layer_factory.hpp:77] Creating layer hdf5output 
I0206 23:07:44.815511 7630 net.cpp:106] Creating Layer hdf5output 
I0206 23:07:44.815515 7630 net.cpp:454] hdf5output <- conv5_3_relu5_3_0_split_0 
I0206 23:07:44.815521 7630 net.cpp:454] hdf5output <- conv5_3_relu5_3_0_split_1 
I0206 23:07:44.815527 7630 net.cpp:150] Setting up hdf5output 
I0206 23:07:44.815531 7630 net.cpp:165] Memory required for data: 116006912 

をとても素晴らしい、私は残念ながら、寸法1 512 14 14のデータを持つことを期待します

I0206 23:07:46.108660 7630 hdf5_output_layer.cpp:31] Saving HDF5 file ds: 0 
I0206 23:07:46.115536 7630 hdf5_output_layer.cpp:48] Successfully saved 1 rows 
I0206 23:07:46.115557 7630 hdf5_output_layer.cpp:49] SAVEBLOB - Data size is: 1 512 54 38 (1050624) 
I0206 23:07:46.115566 7630 hdf5_output_layer.cpp:50] SAVEBLOB - Label size is: 1 512 54 38 (1050624) 
I0206 23:07:46.316557 7630 hdf5_output_layer.cpp:31] Saving HDF5 file ./test_features/image_0.h5ds: 1 
I0206 23:07:46.322437 7630 hdf5_output_layer.cpp:48] Successfully saved 1 rows 
I0206 23:07:46.322456 7630 hdf5_output_layer.cpp:49] SAVEBLOB - Data size is: 1 512 56 38 (1089536) 
I0206 23:07:46.322463 7630 hdf5_output_layer.cpp:50] SAVEBLOB - Label size is: 1 512 56 38 (1089536) 
I0206 23:07:46.457828 7630 hdf5_output_layer.cpp:31] Saving HDF5 file ./test_features/image_1.h5ds: 2 
I0206 23:07:46.463618 7630 hdf5_output_layer.cpp:48] Successfully saved 1 rows 
I0206 23:07:46.463636 7630 hdf5_output_layer.cpp:49] SAVEBLOB - Data size is: 1 512 38 50 (972800) 
I0206 23:07:46.463644 7630 hdf5_output_layer.cpp:50] SAVEBLOB - Label size is: 1 512 38 50 (972800) 
I0206 23:07:46.594746 7630 hdf5_output_layer.cpp:31] Saving HDF5 file ./test_features/image_2.h5ds: 3 

これは、出力の寸法が間違っているだけでなく、反復（画像）によっても異なることを示しています！ログに表示されるディメンションは、h5ファイルに書き込まれるデータのディメンションと一致するため、ログにはコードの動作が正確に記述されます。私の質問は、なぜこれが事実だろうか？それは私がすべてを正しく設定しているようだが、私は行方不明になっているものがなければならない...

Answer 1

@hbadertsが明らかにしたように、HDF5層が正しいとわかり、正しい次元。私の寸法との混乱は、ネットワークプロトタイプのテストバージョンにおける入力寸法の一見静的な定義によるものです。私がpycaffe関数net.forward（** forward_kwargs）を使ってデータをロードしているので、畳み込みレイヤーは自分の入力画像のさまざまな入力次元に合わせてスケーリングしています。これは、期待されるよりも大きいフィーチャのディメンションと、イメージ間で変化するという事実の両方を説明しています。