学習率を変えずに練習エラーがジャンプするのはなぜですか？

Question

私は約10の畳み込み層といくつかのプール層を持つ畳み込みネットワークを訓練しています。トレーニングセットは約25万サンプル（長さベクトル16,000）です。第1期から約50％で、トレーニングとテストのエラーは約68％から92％に急上昇しました。学習率は同じでした（バッチ勾配降下）。バッチサイズは32でした。そのジャンプを引き起こしたのは何ですか、そしてどのようにジャンプを解釈することができますか？

スタンフォードの深い学習コースで、このスライドを発見

Answer 1

https://youtu.be/wEoyxE0GP2M?t=1h18m2s

与えられた説明は、これは悪いパラメータ初期化の兆候であるということです。しばらくの間、学習することはほとんどありませんが、突然パラメータが正しい方向に十分に調整され、精度や損失が大幅に増加します。