TensfoFlow：次のエポックで線形回帰の損失が増加する（代わりに減少する）

Question

私はTensorFlowを学び、それを単純な線形回帰問題に適用しようとしています。 dataは、形状[42x2]のnumpy.ndarrayです。

私はちょっと疑問に思って、それぞれの連続した時代の後に、損失が増えているのです。それぞれの連続した時代とともに失われることはないだろうか？ （。どうもありがとう、それに答えるために、あなたの時間を割いて）

1）作成：ここで

は私のコードは、（！あなたは私が同様に出力を共有したい場合、私に知らせて）であります依存/独立変数

X = tf.placeholder(tf.float32, name='X') 
Y = tf.placeholder(tf.float32,name='Y') 

2）のプレースホルダが

w = tf.Variable(0.0,name='weights') 
b = tf.Variable(0.0,name='bias') 

3）が定義された各エポック後の重量、バイアス、total_lossためVARS（）を作成した損失関数& OPTIM IZER

Y_pred = X * w + b 
loss = tf.reduce_sum(tf.square(Y - Y_pred), name = 'loss') 
optimizer = tf.train.GradientDescentOptimizer(learning_rate = 0.001).minimize(loss) 

4）は、要約イベントに&イベントファイルライタ

tf.summary.scalar(name = 'weight', tensor = w) 
tf.summary.scalar(name = 'bias', tensor = b) 
tf.summary.scalar(name = 'loss', tensor = loss) 
merged = tf.summary.merge_all() 

evt_file = tf.summary.FileWriter('def_g') 
evt_file.add_graph(tf.get_default_graph()) 

5）を作成し、

with tf.Session() as sess1: 
sess1.run(tf.variables_initializer(tf.global_variables())) 
for epoch in range(10): 
    summary, _,l = sess1.run([merged,optimizer,loss],feed_dict={X:data[:,0],Y:data[:,1]}) 
    evt_file.add_summary(summary,epoch+1) 
    evt_file.flush() 
    print(" new_loss: {}".format(sess1.run(loss,feed_dict={X:data[:,0],Y:data[:,1]})))    

乾杯セッションのすべてを実行します！

Answer 1

短い答えは、あなたの学習率が大きすぎるということです。私はそれを0.001から0.0001に変更することで合理的な結果を得ることができましたが、2番目の最後のコメントから23ポイントしか使用しませんでした（私は最初にあなたの最後のコメントに気付かなかった）ので、数。

0.001は本当に低い学習率のようです。しかし実際の問題は、あなたの損失関数がreduce_meanの代わりにreduce_sumを使用していることです。これにより、損失が大きくなり、GradientDescentOptimizerに非常に強い信号が送信されるため、学習率が低いにもかかわらずオーバーシュートしてしまいます。トレーニングデータにポイントを追加するだけで問題は悪化します。したがって平均平方誤差を得るにはreduce_meanを使用し、アルゴリズムの動作がはるかに良くなります。