TensorflowでのマルチGPUのトレーニング：より簡単な方法？

Question

私は、（ローカル）マルチ-gpuトレーニングのためのcifar10_multi_gpu_trainの例で提案されているトレーニング方法、つまりいくつかのタワーを作成してからグラジエントを平均化しています。しかし、私は次のことを疑問視していました。異なるGPUからの損失を受け取り、それらを合計し、その新しい損失に勾配降下を適用すればどうなりますか？

これは機能しますか？おそらくこれは愚かな疑問であり、どこかに限界があるはずです。あなたがこれについてコメントできるなら、私は幸せになるでしょう。

おかげで、よろしく、 G.

Answer 1

それは合計では動作しません。あなたはより大きな損失をもたらし、結果的により大きな、おそらく誤った勾配を得るでしょう。勾配を平均化すると、損失を最小限に抑えるために重みを取らなければならない方向の平均が得られますが、それぞれの単一方向は正確な損失値に対して計算された方向です。

あなたが試みることができる1つのことは、独立してタワーを走らせてから、時折重みを平均し、収束速度は遅くなりますが、各ノードで処理を高速化することです。