AdamOptimizerの学習率を監視するにはどうすればよいですか? TensorBoard: Visualizing Learningで は私が学習率を要約に追加するにはどうすればよいですか?
が必要であると言われて、それぞれ出力学習率および損失そのノードにscalar_summaryオプスを取り付けることにより、これらを収集します。
どうすればいいですか?
AdamOptimizerの学習率を監視するにはどうすればよいですか? TensorBoard: Visualizing Learningで は私が学習率を要約に追加するにはどうすればよいですか?
が必要であると言われて、それぞれ出力学習率および損失そのノードにscalar_summaryオプスを取り付けることにより、これらを収集します。
どうすればいいですか?
私はグラフの内側に、次のような何かがうまく働くだろうと思う:
with tf.name_scope("learning_rate"):
global_step = tf.Variable(0)
decay_steps = 1000 # setup your decay step
decay_rate = .95 # setup your decay rate
learning_rate = tf.train.exponential_decay(0.01, global_step, decay_steps, decay_rate, staircase=True, "learning_rate")
tf.scalar_summary('learning_rate', learning_rate)
を(もちろんそれを動作させるために、それはtf.merge_all_summaries()
に必要と最後にログに要約を書くためにtf.train.SummaryWriter
を使用したいです)
興味深い答えですが、ADAMのためのものではありません、@ zhongyukuang – Escachator
しかし、アダムの学習率は一定です...アダムはいくつかの勾配統計を計算し、学習率とそれらの統計に基づいてステップサイズを変更します。 – sygi
はい、書いてありますが、実際にはステップサイズのプロットが必要です。 – Mtr