2017-02-01 8 views
0

私は本当に人工神経ネットワーク(ANN)に興味を持っていて、それに赤いです。しかし、私はちょうど把握できないようなものがあります。ANNのシグモイド出力の派生物は何を教えてくれるのですか?

重量はANNは、アカウントになり誤差を低減するように調整する必要がありますどのくらいで評価:

  • エラーを(当然)、*
  • を入力(自明私にだけでなく)*
  • 及びのシグモイドの出力(???)。

しかし、最後の点はどうでもいいですか?私はそれがANNがこの特定の体重にどれくらい自信があるのか​​を表しているはずですが、体重をどのくらい調整するべきかの鍵であるエラーではありませんか?出力がちょうど間違っている場合、私のANNがこの重さにどのように自信を持っているか気になるのですか?

私の洞察力(と私の混乱)はthis投稿から得ました。

答えて

1

どのような仕組みが一般的に正しいかについての直感ですが、具体的には正しくない可能性があります。これは誤り関数の直感に当てはまりますが、これは正しくありません。誤差がどのように構築されたかを覚えておきましょう。

o(x, w) = delta(sum w_j x_j + b) 

ここで、deltaは活性化関数です。そして、エラーが、ニューロン出力とラベルの間の平方差を単なる和で、平均二乗誤差を想定して:

e'(w) = sum 2 * (o(x, w) - l) * o'(x, w) 
:勾配降下を使用するには

e(w) = sum (o(x, w) - l)^2 

、あなたは、エラーの誘導体を取ります

これは、Oの誘導体に依存し、連鎖ルールによってこれは:エラーの誘導体を集約

o'(x, w) = delta'(sum w_j x_j + b) * x_j 

e'(w) = sum 2 * (o(x, w) - l) * delta'(sum w_j x_j + b) * x_j 

ここで、エラー(差異)があるところで、ニューロン出力(マイナスアクティベーション)で評価されたアクティベーションの派生は、ニューロン入力の倍です。 私は間違いをしたかもしれませんが、全体的な構成が正しいことに注意してください。最終的には、連鎖ルールの適用のために、あなたの場合の活性化の派生物(シグモイド)が現れます。

+0

まずはお返事いただきありがとうございます。それはかなりの数学的なapporachです:/。私は本当になぜ私の質問のポイント3を考慮する必要があるのか​​理解したい。私は派生品なしで投稿に提示された[formula](https://cdn-images-1.medium.com/max/800/1*Jow4WVWNOp6rtiJ7vNQ0gQ.png)を使用しても、結果はより正確でした。私は本当にそれの目的を理解することができません。 –

+1

@JonasBergnerそうでなければ、それは間違っているので、それは考慮に入れる必要があります。それがなければ、うまくいくと思われるランダムな式がありますが、なぜそれが働くのかについての理論的根拠はありません。もちろん、すべてのケースで効果があることは証明されていません。おそらく特定の目的はなく、式の一部です。出力はアクティベーションに依存するため、誤差導関数はアクティベーション導関数に依存します。 –

+0

ああ、私は参照してください。それは、チェーンルールが適用されなければならないので、私は関数内の関数を持っているからです。だからこそ、パート3はちょうどそこにいなければなりません。ありがとう、今それは意味をなさない –

関連する問題