ディープニューラルネットワークの精度における極小値

Question

精度グラフに極小値を示すディープニューラルネットワークの精度を向上させるために、どのような提案をしますか？

Answer 1

あなたは観察されているどのような原因は、各ミニバッチに対する勾配を計算しているという事実のためにトレーニング中のモデルの精度で変動しています。これらは訓練セット全体に対して勾配を近似することを意図していますが、必ずしも正確ではないため、正確さが失われることがあります。

一部の変動は、損失機能が正確性の指標と完全に相関していないことも原因です。

「ローカル最小値」という用語は、通常、損失関数のグローバル最小値とは異なるローカル最小値が存在する場合を表すために使用されます。混乱の原因となる可能性があるので、精度のプロットの変動を記述するためにここでは使用しません。結局あなたは正確さを最大限にしようとしています。