batchsize = 1のときに複数のGPUを使用するにはどうすればよいですか？

Question

私はセマンティックセグメンテーションのために深いCNNモデルを訓練しようとしています。モデルのサイズと入力画像の解像度が大きいため、batchsize = 1であってもメモリ不足になります。このような状況で、複数のGPUを使用してより多くのメモリを獲得するにはどうすればよいですか？ （現在私はカフェを使用しています） ありがとうございました。

Answer 1

Daleすでに基本的な答えがあります.Caffeはモデルの並列処理をサポートしていません。

入力サイズを小さくするオプションはありますか？画像を縮小する（解像度を失う）か、画像を分割する（完全な画像結合を失う）ことは理にかなっていますか？それは入力とモデルをフィットさせるでしょうか？モデルをCaffeでコード化してデバッグしたことがあれば、少なくとも現行システムのトポロジーをスモークテストするのが良いでしょう。