標準アレイは、convネットフィードフォワードのgpuArrayよりも高速です。

Question

私はMATLABで畳み込みネットワークを実装しています.GPUのサポートを追加しました（gpuArraysを使用しています）。フィードフォワード部分を実装しました。私は標準の配列（私は既に自分のワークスペースの準備ができている配列を持っている）でそれを実行すると、0.15秒かかります。しかし、私が同じことを実行しても、フィードフォワードスクリプトを実行する前にすべてのワークスペースにある配列gpuArraysを実行すると、〜1.39秒かかります。誰かがここで何が起こっているのか説明できますか？私は時間を実行しているテストし、主なボトルネックが私の畳み込み一部であることすべてが示唆ので、私がダウンして、ここでのコードの一部を貼り付けます：おかげで

UPDATE

は

  pad = (size(layers_W{layerNum}, 1)-1)/2; 

      for imageNum = 1:options.minibatchSize 
       for filterNum = 1:size(layers_W{layerNum}, 4) 
        for filterD = 1:size(layers_W{layerNum}, 3) 
         c = conv2(convInput(:, :, filterD, imageNum), ... 
          rot90(layers_W{layerNum}(:, :, filterD, filterNum), 2), 'valid'); 
         layers_activations{layerNum}(pad+1:end-pad, pad+1:end-pad, filterNum, imageNum) = ... 
          layers_activations{layerNum}(pad+1:end-pad, pad+1:end-pad, filterNum, imageNum) + ... 
          c; 
        end 

        layers_activations{layerNum}(pad+1:end-pad, pad+1:end-pad, filterNum, imageNum) = ... 
          layers_activations{layerNum}(pad+1:end-pad, pad+1:end-pad, filterNum, imageNum) + ... 
          layers_b{layerNum}(filterNum); 
       end 
      end 

      if strcmp(options.activation, 'relu') == 1 
       layers_activations{layerNum} = max(0, layers_activations{layerNum}); 
      elseif strcmp(options.activation, 'sigmoid') == 1 
       layers_activations{layerNum} = 1 ./ (1 + exp(-layers_activations{layerNum})); 
      end 

このコードの正確な作品は、ですCPUよりもGPUで約52倍遅い何か案は？

UPDATE2： 2dコンボリューション（GPUでは約10倍遅くなります）とその下に2つの行列を追加する行（GPUでは約100倍遅い）を別々にテストしました。なぜこれが起こっているのか、私は完全に混乱しています。

Answer 1

これはまったく驚くことではありません。 GPUは、大きな画像（HD、4K）で畳み込みを行うのに効率的ですが、特にCNNで典型的な227x227以下の画像では効率的ではありません。すべてのフィルタとすべての画像をループするのではなく、1回の呼び出しで各入力アクティベーションですべてのフィルタを適用できるように、少なくとも3次元コンボリューションを実行する必要があります。内部ループをconvnへの呼び出しで置き換えてください。

MATLABのNeural Network Toolboxで使用されているようなコンボリューションのスマートGPU実装では、カスタムカーネルとマルチスレッドを使用してフィルタと入力のバッチディメンションの空間並列性と並列性を利用します。あなたの実装はすべてのバッチ並列性を放棄します。