テンソルフローのバックプロパゲーションはどのように実装されていますか？ （メモリの問題）

Question

fast-rcnn in TF（VGG16ベース）の実装を開始しました。私の学習をしながら、私はすべての層に伝播しようとすると記憶上の問題があります。しかし、テストはうまくいく。 （私は6GのRAMを搭載したGforce GTX 1060を持っています）

私はどうなっていますか？ TFセーブではトレーニングのためにパラメータを2回保存する必要がありますか？

Answer 1

これはアクティブ化によるものです。転送伝播の最中には、アクティブ化の最後のレイヤーのみを格納する必要があるため、メモリ使用量は深度に依存しません。グラデーションを計算するには、すべてのレイヤーのアクティベーションを保存する必要があるため、ネットワークの深さに伴いメモリコストが増加します。

Answer 2

ので、バックプロパゲーション工程でのメモリの問題が発生する可能性があります。それぞれのバックプロパゲーションステップが前方成長段階よりも約2倍のメモリと 計算時間を要する

。

これは、videoから取られました。また、それを説明する素晴らしい図があります。