評価ごとにテンソルフローでニューラルネットワークのバッチ評価を実行すると、私はどのように異なる結果を得ていますか？

Question

私はテンソルフローのWebサイトにthis tutorialに基づいて回帰畳み込みニューラルネットワークを構築しました。
複数の画像の結果を一度に評価すると、それぞれの画像を1つずつ評価したときとは異なる結果になります。

より具体的には、3つの同一サンプル画像の場合、バッチとして出力を計算すると729027.5625 729027.5625 729027.5625]が得られますが、画像の出力を1つずつ計算すると[ 729026.4375] [ 729026.4375] [ 729026.4375]になります。

なぜこのようなケースが考えられますか？

x = tf.placeholder(tf.float32, shape=[None, 784]) 

とバッチ評価を行う、私は入力画像の2次元numpyの配列(shape = (100, 784))

EDIT：MWE以下

mwe_db.npyを参照してください私のニューラルネットワークへの入力は、以下のように定義されます

from tensorflow.examples.tutorials.mnist import input_data 
mnist = input_data.read_data_sets('MNIST_data', one_hot=True) 
import tensorflow as tf 
import numpy as np 

def weight_variable(shape): 
    initial = tf.truncated_normal(shape, stddev=0.1) 
    return tf.Variable(initial) 

def bias_variable(shape): 
    initial = tf.constant(0.1, shape=shape) 
    return tf.Variable(initial) 

def conv2d(x, W): 
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME') 

def max_pool_2x2(x): 
    return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME') 


sess = tf.Session() 

x = tf.placeholder(tf.float32, shape=[None, 784]) 
y_ = tf.placeholder(tf.float32, shape=[None, 10]) 
x_image = tf.reshape(x, [-1,28,28,1]) 

W_conv1 = weight_variable([5, 5, 1, 32]) 
b_conv1 = bias_variable([32]) 
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1) 
h_pool1 = max_pool_2x2(h_conv1) 

W_conv2 = weight_variable([5, 5, 32, 64]) 
b_conv2 = bias_variable([64]) 
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2) 
h_pool2 = max_pool_2x2(h_conv2) 

W_fc1 = weight_variable([7 * 7 * 64, 1024]) 
b_fc1 = bias_variable([1024]) 
h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64]) 
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1) 

keep_prob = tf.placeholder(tf.float32) 
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob) 

W_fc2 = weight_variable([1024, 10]) 
b_fc2 = bias_variable([10]) 
y_conv = tf.matmul(h_fc1_drop, W_fc2) + b_fc2 

cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(y_conv, y_)) 
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) 
correct_prediction = tf.equal(tf.argmax(y_conv,1), tf.argmax(y_,1)) 
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) 
sess.run(tf.initialize_all_variables()) 
for i in range(20000): 
    batch = mnist.train.next_batch(50) 
    if i%100 == 0: 
    train_accuracy = accuracy.eval(feed_dict={ 
     x:batch[0], y_: batch[1], keep_prob: 1.0}, session=sess) 
    print("step %d, training accuracy %g"%(i, train_accuracy)) 
    train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5}, session=sess) 

print("test accuracy %g"%accuracy.eval(feed_dict={ 
    x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}, session=sess)) 

#################### 
# THE ANOMALY 
#################### 

print "----------------------" 
print "THE ANOMALY" 
print "----------------------" 

mwe_db = np.load("mwe_db.npy") 
num_rows = mwe_db.shape[0] 

batch_y = y_conv.eval(feed_dict={x: mwe_db[0:2, :], keep_prob: 1.0}, session=sess) 
print batch_y 

print "----------------------" 

for i in xrange(2): 
    single_y = y_conv.eval(feed_dict={x: mwe_db[i:i+1, :], keep_prob: 1.0}, session=sess) 
    print single_y 

Answer 1

モデルパラメータが異なるように調整されているため、これは異なります。バッチ評価を実行すると、1つのバッチの各トレーニングデータは、同じモデルパラメータを使用して処理されます。 1つずつ評価するときは、各トレーニングデータが処理された後にモデルが適応されます。

Answer 2

私は確かな答えはありませんが、tf.matmulは責任があります。最小の実例：

import numpy as np 
np.random.seed(123) 
import tensorflow as tf 

tf.set_random_seed(123) 

# To enforce determinism 
sess = tf.Session(config=tf.ConfigProto(
     inter_op_parallelism_threads=1, 
     intra_op_parallelism_threads=1, 
     device_count={'GPU': 0} 
)) 

init = np.random.rand(2,50) 
x1=tf.Variable(init, dtype=tf.float32) 
x2=tf.Variable(init[:1], dtype=tf.float32) 

W=tf.Variable(np.random.rand(50,50), dtype=tf.float32) 

sess.run(tf.initialize_all_variables()) 

r1 = tf.matmul(x1, W) 
r2 = tf.matmul(x2, W) 
v1, v2 = sess.run([r1, r2]) 
print(v1[0] - v2)