TensorFlow：ランタイム中のOOM

Question

ランタイム中に、モデルのメモリ不足（約3k回の反復）がバッチ（すべて64サイズ）で実行されます。

同等のバッチを使用した最初の繰り返しではOOMを実行しませんでした。

私はtensorboard summersを実行しました。アダムオプティマイザは、RNNのwhileループを使用します。

モデルの実行中にメモリが増加する原因は何ですか？また、メモリの使用状況を把握するにはどうすればよいですか。通常、テンソルボードは完全なメモリを占有します。

Answer 1

Timelineでメモリ使用量を追跡できます。

なぜメモリが繰り返しと一緒に蓄積するのかわかりません。考えられる回避策は、メモリ不足の前にモデルにディスクをsaveしてから、修復を継続するために復元することです。