0

私は、courseraのNG機械学習コースとNielsonによる本のニューラルネットワーキングと深い学習からニューラルネットワークを学習しています。勾配降下の理解について少し混乱しています。 NGとNielsonの間のGradient Descentによって重量を更新するための2つの異なる形式があります。ニールセンからNg courseraとMichael A. Nielsenの勾配が異なる

:NGから

the weight update formula

the chapter Two, section The backpropagation algorithm

the weight update formal

それらの両方は、バックプロパゲーションアルゴリズムにパスを転送した後に重みを更新するために使用されます。ニールバージョンでは、NG版のηという学習レーティングがあるようですが、学習レーティングはなく、学習レーティングと同様に+1です。私はこれについて非常に混乱しています。誰でも私にそれを理解するのを助けることができますか?

+1

おそらくhttps://datascience.stackexchange.comまたはhttps://stats.stackexchange.com/に適しています。 – Holt

+0

NGs formuleがパラメータ更新をカバーしていますか? @Benのバックプロパゲーション – Ben

+1

を処理しているように思えます。あなたが正しいです。私は間違っていた。 NGsの式はデルタを合計し、平均と正則化を取得してグラデーションを取得します。異なるのは、すべてのサンプルを渡すことによって勾配を計算するngs式です。各サンプルで勾配を計算します。 [NGについての詳細](https://www.coursera.org/learn/machine-learning/supplement/pjdBA/backpropagation-algorithm) –

答えて

0

あなたが示したNG形式は、パラメータの更新をカバーしていません。勾配の計算のみをカバーしています。

関連する問題