オプティマイザは変数を最適化しません

Question

最適化問題を解決したいと思いますが、オプティマイザは機能しません。私は与えられた値との差が最小である一連の解を期待していますが、私の計算されたsoftmax関数は常に1です。重みと偏りは反復では更新されないからです。どちらもゼロのテンソルです。この問題を解決するにはどうすればよいですか？

#KI-Model 
x = tf.placeholder(tf.float32, [None, 5], name='input') #x_1-x_5 


#Init 
W = tf.Variable(tf.zeros([5,1]), dtype=tf.float32) 
b = tf.Variable(tf.zeros([1]), dtype=tf.float32) 

#Sigmoid 
y = tf.nn.softmax(tf.matmul(x, W) + b) 

#Training 
y_tensor = tf.placeholder(tf.float32, [None, 1], name='output') 

loss = y-y_tensor 
cost = tf.square(loss) 
optimizer = tf.train.GradientDescentOptimizer(0.003).minimize(cost) 


#Start 
session = tf.Session() 
init = tf.global_variables_initializer() 
session.run(init) 


#init first 1000 training_batches 
for i in range(1000): 
    batch_xs.append([dataA[i], dataB[i], dataC[i], dataD[i], 
       dataE[i]]) 
    batch_ys.append([solution[i]]) 

for i in range(10000): 

    session.run(optimizer, feed_dict={x:batch_xs, y_tensor:batch_ys}) 

print(session.run(y, feed_dict={x:batch_xs, y_tensor:batch_ys})) 

Answer 1

グラデーションを計算して適用しませんでした。 これらの行は行方不明になっています

gradients = optimizer.compute_gradients(loss=cost) 
train_step = optimizer.apply_gradients(grads_and_vars=gradients) 

あなたもこのラインで、各反復での列車のステップを実行する必要があります。

session.run(train_step, feed_dict={x:batch_xs, y_tensor:batch_ys}) 

フル正しいコード：

#KI-Model 
x = tf.placeholder(tf.float32, [None, 5], name='input') #x_1-x_5 


#Init 
W = tf.Variable(tf.zeros([5,1]), dtype=tf.float32) 
b = tf.Variable(tf.zeros([1]), dtype=tf.float32) 

#Sigmoid 
y = tf.nn.softmax(tf.matmul(x, W) + b) 

#Training 
y_tensor = tf.placeholder(tf.float32, [None, 1], name='output') 

loss = y-y_tensor 
cost = tf.square(loss) 
optimizer = tf.train.GradientDescentOptimizer(0.003) 
gradients = optimizer.compute_gradients(loss=cost) 
train_step = optimizer.apply_gradients(grads_and_vars=gradients) 

#Start 
session = tf.Session() 
init = tf.global_variables_initializer() 
session.run(init) 


#init first 1000 training_batches 
for i in range(1000): 
    batch_xs.append([dataA[i], dataB[i], dataC[i], dataD[i], 
       dataE[i]]) 
    batch_ys.append([solution[i]]) 

for i in range(10000): 

    session.run(train_step, feed_dict={x:batch_xs, y_tensor:batch_ys}) 

print(session.run(y, feed_dict={x:batch_xs, y_tensor:batch_ys}))