学習率の初期化char-RNNがテンソルフローで実装されました

Question

最近、http://karpathy.github.io/2015/05/21/rnn-effectiveness/で説明されているchar-RNNのコードを再現しています。すでにテンソルフローで実装されているコードがあり、私が参照しているコードはhttps://github.com/sherjilozair/char-rnn-tensorflow/blob/master/model.pyです。 私は上記のコードに次の行にに関する質問を持っている：

#1 loss = seq2seq.sequence_loss_by_example([self.logits], 
      [tf.reshape(self.targets, [-1])], 
      [tf.ones([args.batch_size * args.seq_length])], 
      args.vocab_size) 
    #2 self.cost = tf.reduce_sum(loss)/args.batch_size/args.seq_length 
    #3 self.final_state = last_state 
    #4 self.lr = tf.Variable(0.0, trainable=False) 
    #5 tvars = tf.trainable_variables() 
    #6 grads, _ = tf.clip_by_global_norm(tf.gradients(self.cost, tvars), 
      args.grad_clip) 
    #7 optimizer = tf.train.AdamOptimizer(self.lr) 
    #8 self.train_op = optimizer.apply_gradients(zip(grads, tvars)) 

質問は＃4である：なぜ我々は0として学習率を設定していますか？学習率を初期化する最善の方法を0に設定していますか？

Answer 1

コードを調べると、学習率が使用される前に別の値に設定されているように見えます。

sess.run(tf.assign(model.lr, args.learning_rate * (args.decay_rate ** e))) 

これは、学習率が時間の経過とともに減衰するように設定され、Adam Optimizerが1回のみ初期化されるためです。どんな価値もあるはずですが、ゼロは私にとって最も審美的に気に入っているようです。