2
質問:可変スコープ名「rnn」を持つLSTMセルを「スコープ」として割り当てています。Tensorflow:新しい入力にLSTMが「再使用」されている場合、隠れ状態はリセットされますか?単一の往路で
は私が...私は重みが新しい入力Xのために再利用されていることを知って、グラフ内scope.reuse_variables()を使用している場合は
しかし、重みが再利用されている場合、LSTM隠された状態が自動的にリセットん
? ...またはscope.reuse_variables()を呼び出すたびに非表示の状態を明示的にリセットする必要がありますかありがとうございました!
これは、テンソルフォワードがフォワードパスで隠れた状態の内部メモリを保持していないことを意味しますか? –
Ah。 "モデルで保存された"とは、永続ストレージに書き込まれるものがチェックポイント/メタグラフに保存されないことを意味し、再利用変数は(直接的に)アクティベーションを再利用しません。グラフが実行されている間( 'session.run'呼び出し)、グラディエント(トレーニング中)を計算するために使用される場合、中間アクティベーションはメモリ内に保持されます。グラデーションを要求しないと、すぐに破棄されます。 (これは、より一般的な「データフロープログラミングの戦略を実行するまで、入力をノードに保持する」という効果に過ぎません)。 –