勾配降下によるバックプロパゲーションは、各フォワードパス後のエラーを表します

Question

ニューラルネットワークのマルチレイヤパーセプトロンでは、確率的勾配（SGD）と勾配降下（GD）の主な違いは、トレーニング中。つまり、SGDは順方向パスを実行するために1つのサンプルを繰り返し選択し、続いて順方向パスでサンプル全体が計算された後にのみバックプロパゲーションが開始されるGDとは反対に、逆方向移動を行って重みを調整します。

私の質問は以下のとおりです。

1. はグラデーションディセント（あるいはミニバッチグラデーション降下）が選ばれたアプローチである場合には、どのように我々は通過し、単一の前方からの誤差を表すのですか？私のネットワークが単一の出力ニューロンしか持たないと仮定すると、エラーは各サンプルの個々のエラーをすべて平均化するか、またはそれらを合計することによって表されますか？
2. MLPClassifier scikitで、どのようにこのようなエラーが蓄積されているか知っていますか？平均化または合計？

ありがとうございました。

Answer 1

私はあなたの最初の質問に答えることができると思います。はい、単一の順方向パスの誤差は、ネットワーク出力と所望の応答（ラベル）との間の差の尺度のような瞬間的な誤差、1つのサンプルがネットワークに供給された場合、または瞬時サンプルのミニバッチを供給することによって得られたエラー。

こちらがお役に立てば幸いです。