ニューラルネットワーク：重みとバイアス収束

Question

私は機械学習、ニューラルネットワークと深い学習に関するいくつかの話題にまで読んできた、このそのうちの1つは（私の意見では）優れたオンラインブック：についてはhttp://neuralnetworksanddeeplearning.com/chap1.html

私はニューラルネットワークの動作を理解するために来たが、それでも私は（ウェブサイト上の例に基づいて）私にバグを1つの質問があります： 私は入力層、隠された3層のニューラルネットワークを考慮する層と出力層。これらのレイヤーが2、3、1ニューロンを持っているとします（実際には関係ありませんが）。

入力はx1とx2となります。ネットワークは[2、3、1]なので、重みは2x3と3x1の行列を含むリストではじめて生成されます。偏りは、3x1と1x1行列のリストです。今

私は取得しない一部： 中間層にして計算式：各反復で

weights x input - biases = 0 

を重みとバイアスを見つけるために誘導体に対して、若干変更されています大域最適。これが事実なら、なぜすべてのニューロンのバイアスと重みが同じ重みと偏りに収束しないのですか？

Answer 1

私はと思っています。いくつかのテストを行い、インターネット上の情報を見つけることによって答えが見つかりました。答えはランダムな初期の重みと偏りがあることにあります。すべての「ニューロン」が等しいとすれば、重み、偏りおよび入力が等しいので、それらはすべて同じ結果になります。ランダムウェイトを使用すると、異なる回答が許可されます。

x1 = 1 
x2 = 2 
x3 = 3 

w1 = [0, 0, 1], giving w dot x = 3 
w2 = [3, 0, 0], giving w dot x = 3 

誰でも確認できたら、それをしてください。