Tensorflow：tf.assignは何も割り当てません。

Question

バッチ正規化操作の少し微調整されたバージョンを実装しようとしています。私は平均と分散のような移動平均値を明示的に保つ必要があります。これを行うために、私はTensorflowでの割り当てと制御の依存メカニズムを使っていくつかの実験をしています。私は不思議な問題にぶつかります。私は次のおもちゃのコードを持っています。ここで私が意図したとおりtf.control_dependencies仕事かどうかをテストしようとしています：

dataset = MnistDataSet(validation_sample_count=10000, 
load_validation_from="validation_indices") 
samples, labels, indices_list, one_hot_labels = 
dataset.get_next_batch(batch_size=GlobalConstants.BATCH_SIZE) 
samples = np.expand_dims(samples, axis=3) 

flat_data = tf.contrib.layers.flatten(GlobalConstants.TRAIN_DATA_TENSOR) 
mean = tf.Variable(name="mean", initial_value=tf.constant(100.0, shape=[784], dtype=tf.float32), 
       trainable=False, dtype=tf.float32) 
a = tf.Variable(name="a", initial_value=5.0, trainable=False) 
b = tf.Variable(name="b", initial_value=4.0, trainable=False) 
c = tf.Variable(name="c", initial_value=0.0, trainable=False) 
batch_mean, batch_var = tf.nn.moments(flat_data, [0]) 

b_op = tf.assign(b, a) 
mean_op = tf.assign(mean, batch_mean) 
with tf.control_dependencies([b_op, mean_op]): 
    c = a + b 

init = tf.global_variables_initializer() 
sess = tf.Session() 
sess.run(init) 

results = sess.run([c, mean], feed_dict={GlobalConstants.TRAIN_DATA_TENSOR: samples}) 

私は単に784件の寸法を有する各エントリにデータのバッチをロードし、その瞬間を計算し、変数にbatch_meanを保存しようとしていますmean 。私は自明に変数aの値をbに保存します。

最後の行で、cとmeanの値のグラフを実行すると、期待値であるcと表示されます。しかし、meanは依然として100のベクトルであり、バッチ平均を含まない。それは実行されていないmean_op = tf.assign(mean, batch_mean)のようなものです。

この理由は何ですか？私が知る限り、tf.control_dependenciesコールのすべての操作は、以下のコンテキストでの操作の前に実行する必要があります。文脈にあるcをここに明示的に呼び出します。何か不足していますか？

Answer 1

known "feature"はtf.Session.run()です。 cとmeanは独立しているので、meanはc（これはmeanを更新する）の前に評価されます。

は、ここでは、この効果の短いバージョンです：

a = tf.Variable(name="a", initial_value=1.0, trainable=False) 
b = tf.Variable(name="b", initial_value=0.0, trainable=False) 
dependent_op = tf.assign(b, a * 3) 
with tf.control_dependencies([dependent_op]): 
    c = a + 1 

with tf.Session() as sess: 
    sess.run(tf.global_variables_initializer()) 
    print(sess.run([c, b])) 
    print(sess.run([b])) 

はbの第二の評価は[3.0]を返すことが保証されます。しかし、最初のrunは[2.0 3.0]または[2.0 0.0]のいずれかを返すことがあります。