回帰ニューラルネットワークの評価

Question

Hej、

回帰問題を解決するための小さなプログラムを作成しようとしています。私のデータセットはここでは4つのランダムx（x1、x2、x3、x4）と1 yの値です。

0.634585 0.552366 0.873447 0.196890 8.75 

私はトレーニングの後、私は私のモデルは損失を示すことによって、どのように良い評価したいと思いますので、できるだけ近くにy値を予測したい知っている：行の1つは、このようになります。私のミスでも優れているか、どこ

X_data = tf.placeholder(shape=[None, 4], dtype=tf.float32) 
y_target = tf.placeholder(shape=[None, 1], dtype=tf.float32) 

# Input neurons : 4 
# Hidden neurons : 2 x 8 
# Output neurons : 3 
hidden_layer_nodes = 8 

w1 = tf.Variable(tf.random_normal(shape=[4,hidden_layer_nodes])) # Inputs -> Hidden Layer1 
b1 = tf.Variable(tf.random_normal(shape=[hidden_layer_nodes])) # First Bias 
w2 = tf.Variable(tf.random_normal(shape=[hidden_layer_nodes,1])) # Hidden layer2 -> Outputs 
b2 = tf.Variable(tf.random_normal(shape=[1])) # Third Bias 

hidden_output = tf.nn.relu(tf.add(tf.matmul(X_data, w1), b1)) 
final_output = tf.nn.relu(tf.add(tf.matmul(hidden_output, w2), b2)) 

loss = tf.reduce_mean(-tf.reduce_sum(y_target * tf.log(final_output), axis=0)) 

optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.001) 
train = optimizer.minimize(loss) 

init = tf.global_variables_initializer() 

steps = 10000 

with tf.Session() as sess: 

    sess.run(init) 

    for i in range(steps): 

     sess.run(train,feed_dict={X_data:X_train,y_target:y_train}) 

     # PRINT OUT A MESSAGE EVERY 100 STEPS 
     if i%500 == 0: 

      print('Currently on step {}'.format(i)) 

    training_cost = sess.run(loss, feed_dict={X_data:X_test,y_target:y_test}) 
    print("Training cost=", training_cost) 

たぶん誰かが常に私のトレーニング:) I中にエラーを表示する方法を、知っている：残念ながら、私はいつも

Training cost= nan 

の最も重要な行は次のようになり可能性を受け取りますtf.estimatorでこれがどのように行われているかを知っているが、そうではない。データセットが必要な場合は、教えてください。

乾杯！

Answer 1

これは、Relu活性化機能が爆発勾配を引き起こすためです。したがって、それに応じて学習率を下げる必要があります。さらに、別のアクティベーション機能を試すこともできます（このためには、まずデータセットを正規化する必要があるかもしれません）。

ここでは、（In simple multi-layer FFNN only ReLU activation function doesn't converge）は、あなたの場合と同様の問題です。答えに従うと分かります。

これが役に立ちます。