1つのバッチを複数の呼び出しに分割してメモリを節約する方法

Question

私は多少大きなモデルを持っていますが、小さなバッチサイズのGPUでしか練習できませんが、もっと大きなバッチサイズを使用する必要があります、Nより小さいバッチにバッチを分割「iter_size」オプションを介してこの問題に対するいい解決策を提供する蓄積nは勾配方法この缶一旦

を更新カフェ

）、これは最終的な精度と収束時間を改善知りますTensorFlowで効率的に実装できますか？

Answer 1

小さなバッチを使用して、グラデーションを手動で計算し、それらを追加して一度に適用することができます。たとえば、バッチサイズを100にする場合は、10バッチ10のグラデーションを計算し、グラデーションを追加して適用します。これはhereで説明されています。

tf.gradients（）opを使用して、各バッチのグラデーションを別々に計算して追加することができます。次に、トレーニングステップを実行するオプティマイザでapply_gradients（）メソッドを使用します。