ニューラルネットワーク奇妙な予測

Question

私はニューラルネットワークを実装しようとします。私はバックプロパゲーションを使ってグラジエントを計算しています。勾配を得た後、それらを学習率で乗算し、対応する重みからそれらを減算する。 （基本的に勾配降下を適用しようとすると、これが間違っているかどうか教えてください）。 backpropagationとgradient descentを準備した後で最初に試したのは、入力が（0,0）、（1,0）、（0,1）、（1,1） ）、対応する出力は0,1,1,0です。したがって、私のニューラルネットワークは、2つの入力ユニット、1つの出力ユニット、および3つのユニットを持つ1つの隠れたレイヤーを含んでいます。 > 100（> 5000を試したとしても）の学習率3.0で学習すると、コストは特定のポイントまで下がりますので、一定のままです。ウェイトはプログラムを実行するたびにランダムに初期化されますが、常に同じ特定のコストでスタックされます。とにかく、訓練が終了した後、上記の入力のいずれかで自分のニューラルネットワークを実行しようとしましたが、出力は常に0.5000です。私は入力と出力が（-1、-1）、（1、-1）、（-1,1）、（1,1）と出力-1,1,1、 1。今では同じ学習率で訓練を受けた場合、反復回数に関係なくコストは連続的に低下していますが、結果はまだ間違っており、常に0に非常に近い傾向にあります。 [反復：（20kk）、入力：（1、-1）、出力：（1.6667e-08）]および[反復：（200kk）、入力：（1、-1） 、出力（1.6667e-09）]も入力（1,1）などで試してみましたが、出力も0に非常に近いです。出力は常に平均（min（y）、max（y） ）、私は入力/出力をどのような形式で提供するかは重要ではありません。私は何が間違っているのか分かりません。助けてもらえますか？

Answer 1

あなたは間違っているかもしれないので、多くの場所があります。

• は数値的に
• あなたはXORを学ぶために、非線形隠れユニットを使用する必要があなたのグラデーションをチェック - あなたがそこに非線形の活性化を持っているのですか？
• バイアスニューロンが必要ですか？

ような問題を引き起こしてはならない軽微なものを、しかし価値のいずれかの方法を固定：

• あなたは（あなたのネットワークが分類器であるとして）、出力ノードにおけるシグモイド活性化を持っていますか？
• クロスエントロピーコストでトレーニングしますか（これは軽微な問題ですが）。