損失と精度の両方の増加をどのように解釈するのですか

Question

私はテンソルフローを使って深い学習モデル（CNN's）を実行しました。時代の何度も、私は損失と精度の両方が増加したか、または両方が減少したことを観察しました。私の理解は、どちらも常に逆の関係にあるということでした。同時に増減するシナリオは何か。

Answer 1

ミニバッチ勾配降下および/またはドロップアウト（ランダムノイズを導入する）のような正則化技術によってもたらされるいくつかの変動を除いて、訓練プロセスが進むにつれて、損失は減少する。

損失が減少する場合、トレーニングプロセスは順調です。

精度（私が想定している）の精度は、代わりに、モデルの予測がどれほど良いかの尺度です。

モデルが学習している場合、精度が向上します。モデルがオーバーフィッティングされている場合、精度は向上しなくなり、減少し始めることさえあります。

損失が減少し、精度が低下した場合、モデルはオーバーフィットです。

あなたの正規化手法がうまくいて、過大適合問題と戦っているため、損失が増加し、精度が向上した場合もあります。これは、精度が向上し続ける間に損失が減少し始めた場合にのみ当てはまります。 そうでなければ、損失が増え続けるならば、あなたのモデルは発散しており、原因を探すべきです（通常、あなたはあまりにも高い学習率の値を使用しています）。