テンソルフローへのレイヤ数の追加MNISTチュートリアルで精度低下の原因となる

Question

初心者から深い学習者まで。 gogoelテンソルフローのMNIST_SOFTMAX.pyチュートリアル（https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py）を使用して、何が起こるかを確認するために2つの新しいレイヤーを追加しました。

x = tf.placeholder(tf.float32, [None, 784]) 
W1 = tf.Variable(tf.zeros([784, 256])) 
W2 = tf.Variable(tf.zeros([256, 256])) 
W3 = tf.Variable(tf.zeros([256, 10])) 

B1 = tf.Variable(tf.zeros([256])) 
B2 = tf.Variable(tf.zeros([256])) 
B3 = tf.Variable(tf.zeros([10])) 

Y1 = tf.matmul(x, W1) + B1 
Y2 = tf.matmul(Y1, W2) + B2 
Y3 = tf.matmul(Y2, W3) + B3 
y = Y3 

に上記変更されたコードが0.9188から0.1028まで精度を低下

x = tf.placeholder(tf.float32, [None, 784]) 
W = tf.Variable(tf.zeros([784, 10])) 
b = tf.Variable(tf.zeros([10])) 
y = tf.matmul(x, W) + b 

。なぜそれが落ちるのか、いくつか考えられますか？

Answer 1

私はあなたがsymmetry breaking in the weightsと層の間の非線形活性化の両方が必要だと思う：

W = tf.Variable(tf.random_normal([784, 256], stddev=0.1)) 
W1 = tf.Variable(tf.random_normal([256, 256], stddev=0.1)) 
W2 = tf.Variable(tf.random_normal([256, 10], stddev=0.1)) 
b = tf.Variable(tf.zeros([256])) 
b1 = tf.Variable(tf.zeros([256])) 
b2 = tf.Variable(tf.zeros([10])) 

y = tf.matmul(x, W) + b 
y = tf.nn.relu(y) 
y = tf.matmul(y, W1) + b1 
y = tf.nn.relu(y) 
y = tf.matmul(y, W2) + b2 

0.9653の精度を取得します。

Answer 2

レイヤ間に非線形のアクティブ化関数を追加する必要があります。 ReLUを試してみてください。

Answer 3

this postと同じ問題が発生します。基本的に、最初の隠れたレイヤーは最後よりずっと遅く学習します。通常、ネットワークは正しい重みを学習する必要があります。しかし、ここでは、第1層の重みがほとんど変化せず、誤差が次の層に伝播する可能性が最も高い。それは非常に大きく、後続のレイヤーはそれを修正することはできません。体重を確認してください。