TensorFlow NaNを返すカスタムモデルオプティマイザ。どうして？

Question

私が作成したカスタムモデルに最適なweightsとexponentsを学びたい：

weights = tf.Variable(tf.zeros([t.num_features, 1], dtype=tf.float64)) 
exponents = tf.Variable(tf.ones([t.num_features, 1], dtype=tf.float64)) 

# works fine: 
pred = tf.matmul(x, weights) 

# doesn't work: 
x_to_exponent = tf.mul(tf.sign(x), tf.pow(tf.abs(x), tf.transpose(exponents))) 
pred = tf.matmul(x_to_exponent, weights) 

cost_function = tf.reduce_mean(tf.abs(pred-y_)) 
optimizer = tf.train.GradientDescentOptimizer(t.LEARNING_RATE).minimize(cost_function) 

問題が負の値があるたびにゼロxでオプティマイザはNaNとして重みを返すことです。 x = 0のときに単純に0.0001を追加すると、すべてが期待通りに機能します。しかし、私は本当にこれを行う必要がありますか？ TensorFlowオプティマイザはこれを処理する方法がありますか？

ウィキペディアには表示されません。activation functionsここで、xは指数になります。なぜ以下のような画像が表示されるのですか？

上記の画像では、正しい指数が0.5であることを私のプログラムが知りたいと思います。

Answer 1

グラデーションが無限大であるため、これはTensorFlowの部分で正しく動作します（また、数学的には無限大になるはずの計算は不確定な限界によりNaNになります）。

問題を回避するには、少し一般化されたグラデーションのクリッピングが機能することがあります。手動で、Optimizer.compute_gradients経由勾配を得る

safe_grad = tf.clip_by_value(tf.select(tf.is_nan(grad), 0, grad), -lim, lim) 

のようなものを経由してそれらをクリップして、Optimizer.apply_gradientsにクリップグラデーションを渡すことができます。クリッピングは、勾配が任意に大きくなる可能性がある特異点付近の値に対しては爆発しないために必要です。

警告：特にネットワークが広範囲に及ぶネットワークを汚染する可能性があるより深いネットワークの場合、これが機能するとは限りません。