私のネットワークはなぜ学習しませんか？

Question

テンソルフローで畳み込みネットワークを作成しましたが、精度はまったく変わりません。私は三角形と円の違いを伝えるためにそれを得ようとしています。それらは異なる色と同様のサイズです。これはネットワークのコードです。また、完全に接続されたネットワークで試したところ、精度はほぼ1でした。

x = tf.placeholder("float", shape=[None, 3072]) 
y_ = tf.placeholder("float", shape=[None, 2]) 

W = tf.Variable(tf.zeros([3072, 2])) 
b = tf.Variable(tf.zeros([2])) 

y = tf.nn.softmax(tf.matmul(x,W) + b) 

def weight_variable(shape): 
    initial = tf.truncated_normal(shape, stddev=0.1) 
    return tf.Variable(initial) 

def bias_variable(shape): 
    initial = tf.constant(0.1, shape=shape) 
    return tf.Variable(initial) 

def conv2d(x, W): 
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME') 

def max_pool_2x2(x): 
    return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], 
          strides=[1, 2, 2, 1], padding='SAME') 

W_conv1 = weight_variable([4, 4, 3, 32]) 
b_conv1 = bias_variable([32]) 

x_image = tf.reshape(x, [-1,32,32,3]) 

h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1) 
h_pool1 = max_pool_2x2(h_conv1) 

W_conv2 = weight_variable([4, 4, 32, 64]) 
b_conv2 = bias_variable([64]) 

h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2) 
h_pool2 = max_pool_2x2(h_conv2) 

W_fc1 = weight_variable([8 * 8 * 64, 1024]) 
b_fc1 = bias_variable([1024]) 

h_pool2_flat = tf.reshape(h_pool2, [-1, 8*8*64]) 
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1) 

keep_prob = tf.placeholder("float") 
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob) 

W_fc2 = weight_variable([1024, 2]) 
b_fc2 = bias_variable([2]) 

y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2) 

cross_entropy = -tf.reduce_sum(y_*tf.log(y_conv + 1e-9)) 
train_step = tf.train.AdamOptimizer(1e-6).minimize(cross_entropy) 
correct_prediction = tf.equal(tf.argmax(y_conv,1), tf.argmax(y_,1)) 
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) 

self.feedin = np.reshape(self.inlist, (-1, 1, 32, 32, 3)) 
print(self.feedin) 
sess.run(tf.initialize_all_variables()) 
for i in range(10000): 
    j = i%int(self.ent) 
    if i%100 == 0: 
     train_accuracy = accuracy.eval(feed_dict={ 
      x:self.inlist, y_: self.outListm, keep_prob: 1.0}) 
     print("step %d, training accuracy %g"%(i, train_accuracy)) 
    train_step.run(feed_dict={x: self.feedin[j], y_: self.outListm[j], keep_prob: 0.5}) 

これらは2つの画像です。

これは私がself.in.を作成するために使用されるものです私はイメージの形が残っているように変更しましたが、問題はまだ残っています。自己アウトについて

name = QtGui.QFileDialog.getOpenFileNames(self, 'Open File') 
fname = [str(each) for each in name] 
flist = [] 
dlist = [] 
self.inlist = [11, 32, 32, 3] 
for n, val in enumerate(name): 
    flist.append(val) 
    img = Image.open(flist[n]) 
    img.load() 
    data = np.asarray(img, dtype = "float32") 
    dlist.append(data) 
self.inlist = np.concatenate([arr[np.newaxis] for arr in dlist]) 

それは三角形であり、それは円である場合には、第2の要素が2の場合、最初の要素が2である2つの要素のリストを持っています。

Answer 1

学習率が低すぎるため、トレーニングの精度は毎回向上しません。

Answer 2

すべてのパラメータをゼロ（または定数）に初期化することはできません。これは、ほぼすべての種類のニューラルネットワークに対してほぼ常識です。

すべての重み行列が同じ定数（ゼロ以外を含む）に初期化された、最も単純なフィードフォワードネットワークを想像してみましょう。何が起こるのですか？入力ベクトルが何であっても、同じレイヤー内のすべてのニューロンのアクティベーション（出力）は同じになります！それは間違いなくあなたが望むものではありません。あなたの場合、それらをすべて0に初期化すると、さらに悪化します。上記の欠点に加えて、ReLUはポイントゼロでも導出できません。

したがって、ウェイト行列（W）をランダムな値に初期化して「対称性を破る」ことがベストプラクティスです。 random.randn()でこれを行うことはできますが、Xavier初期化、MSRA初期化などのパフォーマンスをさらに向上させるためにこれを行うための多くのトリックがあります。あなたのケースでのReLUアクティベーション機能の場合、 ReLU関数の入力が負の値になる場合には、重量行列を若干積極的に初期化することをお勧めします。これは、ReLUユニットが「死んだ」ものになる可能性があります（グラデーションは永遠にゼロになります）。

Answer 3

多くの人が言うように、重みパラメータをゼロで初期化することはできません。ウェイトは常に同じ数値で更新されます。

したがって、私たちはランダムな値で初期化します。他のコメントでは、これを行う方法を尋ねます。この作品はすでにあなたのコードに入っています。関数weight_variableを呼び出して、ランダム初期化を伴う重み行列を取得します。または、インラインで行う場合は、

tf.Variable(tf.truncated_normal(shape, stddev=0.1))