ニューラルネットワークの逆伝播とバイアス

Question

いくつかのマニュアがあるので、ニューラルネットワークの教授の良いアルゴリズムを構築するのは難しいです。最初のものが最初に：私の目標は、私は活性化関数と単純なグラデーション降下としてSigmoidを使用しているnnのxor関数を教えることです。フィードフォワードは簡単ですが、バックプロップは何とか混乱します。アルゴリズムのほとんどの記述に共通するステップは次のとおりです。 1.出力レイヤーでエラーを計算します。バイアスも更新し、どのようにイエスならばするべき 1：？ 2.シナプス

上の重み 3.更新重みだから私の質問については、隠れ層にこのエラーの伝播しますか現在私はバイアスをランダムに選択する[0.5; 1]？ 2.手順2でウェイトを更新できますか？ 3.私は、nnの最初の層がニューロンの入力層であると仮定しています。だから、このレイヤーのどの値を更新する必要がありますか？入力層と最初の隠れ層をつなぐシナプスの重みだけ？

Answer 1

バイアスも更新する必要があります。バイアスを活性化1を伴う体重として扱う。

バックプロパゲーションステップには体重の更新が含まれている必要があります。これがこのステップの目的です。

第1層は用語の問題です。多くの場合、入力はレイヤーとしてモデル化されます。しかし、これはinput = activationとして特別なケースです。入力そのものには重みがありません。ウェイトは次のレイヤーへの接続です。この層は他の層の他の層と変わらない。