TensorFlowの動的に変化するウェイト

Question

TensorFlowでは、トレーニング中にウェイトを変更しようとしていますが、結果に変化はありません。私は重みを崩そうとしましたが（ゼロに設定されています）、何もしないようです（完了までに時間がかかります）。私は何が欠けていますか？セッション中に通常の行列/テンソルのようにWを操作する方法はありますか？

from tensorflow.examples.tutorials.mnist import input_data 
mnist = input_data.read_data_sets('MNIST_data', one_hot=True) 

import tensorflow as tf 
sess = tf.InteractiveSession() 
x = tf.placeholder(tf.float32, shape=[None, 784]) 
y_ = tf.placeholder(tf.float32, shape=[None, 10]) 
W = tf.Variable(tf.zeros([784,10]), trainable=True) 
W2 = tf.Variable(tf.zeros([784,10]), trainable=False) 
b = tf.Variable(tf.zeros([10])) 

sess.run(tf.initialize_all_variables()) 

y = tf.nn.softmax(tf.matmul(x,W) + b) 
loss = tf.reduce_mean(tf.square(y_ - y)) 
train_step = tf.train.GradientDescentOptimizer(0.5).minimize(loss) 

for i in range(1000): 
#try to change W during training 
    W = W2 

    W = tf.Variable(tf.zeros([784,10])) 

    W.assign(tf.Variable(tf.zeros([784,10]))) 

    batch = mnist.train.next_batch(1) 

    train_step.run(feed_dict={x: batch[0], y_: batch[1]}) 

correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1)) 

accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) 

print(accuracy.eval(feed_dict={x: mnist.test.images, y_: mnist.test.labels})) 

精度は同じです（0.82）。

Answer 1

私はW.assignの後にWを更新したい場合は、それを評価する必要があります。また

sess.run(W) 

、TensorFlow最もニューラルネットは、値を計算するフォワード/バックプロパゲーションを使用するので/勾配が0キル従って全てフォワード値と勾配と重みを初期化、重みを更新します。それは良い考えではありません。

あなたは小さな乱数でそれらを初期化しようとすることができます： tf.Variable（tf.random_normal（[784、10]、STDDEV = 0.01））

するか、ザビエルの初期化子を使用し

W = tf.get_variable("W", shape=[784, 10], 
     initializer=tf.contrib.layers.xavier_initializer()) 

Answer 2

あなたは、あなたがこの操作に名前を付ける必要があります）（tf.assignを使用する場合：

W = W.assign（tf.Variable（tf.zeros（[784,10]）））

そして、 Wをもう一度使用すると、割り当て操作が実行されます。