tensorboardにadam optimizerメトリックを追加する方法は？

Question

私はいくつかのエポックのモデルを訓練し、さらにエポックを再トレーニングしたいと思った。 Adamオプティマイザはどのように動作しますか？ t = 0から時間を初期化するか、最後のタイムステップを保存しますか？

a）tensorflowのドキュメントには、次の計算が示されています。彼らはテンターボードにこれらのメトリックを追加することができますか？

t <- t + 1 
lr_t <- learning_rate * sqrt(1 - beta2^t)/(1 - beta1^t) 

m_t <- beta1 * m_{t-1} + (1 - beta1) * g 
v_t <- beta2 * v_{t-1} + (1 - beta2) * g * g 
variable <- variable - lr_t * m_t/(sqrt(v_t) + epsilon) 

長い時間question1とquestion2以来、いくつかの質問には答えはありません。

最後のチェックポイントからモデルを再トレーニングすると、実際にエラー率に問題が発生しています。この場合、Adamオプティマイザで正確に何が起こっているのかわかりませんでしたか？

Answer 1

あなたの答えはこの質問に少し似ていると思います。Saving the state of the AdaGrad algorithm in Tensorflow オプティマイザの状態を保存して再読み込みすると、オプティマイザの状態を読み込んでも、 ！