tensorflow convnetは、複数のGPUでモデルを複製するだけですか？

Question

私は現在画像認識のためにTensorflow convnetを実行しています。より複雑なグラフ、バッチサイズ、および入力次元を可能にするために新しいGPUを購入することを検討しています。私はthisのような記事を読んでいますが、AWS GPUインスタンスを使って電卓を訓練することはお勧めしませんが、より多くの意見が常に歓迎されます。

私はTensorflowのガイド'Training a Model Using Multiple GPU Cards'を読んでいます。グラフはGPU全体に複製されているようです。 Tensorflow convnetで並列GPUを使用する唯一の方法なのですか？

Tensorflowが複数のGPUにまたがってしか複製できない場合は、各GPUに少なくとも1つのバッチに必要なメモリサイズが必要であることを意味するためです。 （必要な最小メモリサイズが5GBの場合、それぞれ4GBのカードを2枚使用しない場合）

ありがとうございます！

Answer 1

いいえ、異なるGPUで異なる変数を使用することは間違いありません。 宣言したすべての変数とすべてのレイヤについて、変数の宣言場所を選択できます。

具体的には、batch_sizeトレーニングパラメータのトレーニングを高速化するためにのみモデルを複製するために複数のGPUを使用する場合は、共有パラメータの概念を使用して明示的にモデルを構築し、それらのパラメータは通信しますか？