意図的にオーバーフィットニューラルネットワーク

Question

技術的に言えば、複雑なネットワークと十分な時間があれば、訓練エラーが0になるまで任意のデータセットをオーバーフィットできますか？

Answer 1

ニューラルネットワークは、あなたにエラーを与え、かなり限り、入力から出力までの決定論的写像fが存在するとして、常にはに（十分な大きさのネットワークのための）パラメータのセットが存在することを意味しユニバーサルapproximators、ありますいくつかの値ではなくデータセットが（それが分布で）無限大であるならば、（ベイズリスクと呼ばれる）最小得られる誤差がゼロよりも大きくすることができる

• 、バリ：れる最小の可能なエラー、しかしから arbitrarly近いありますe（かなり異なるクラス/値の「重複」の尺度）。その後、
• 写像fが非決定論的である場合再びゼロ以外ベイズリスクがあるE（これは与えられたポイントが与えられた確率で、「複数」の値を持つことができるというの数学的な方法である）
• arbitrarly近いですは最小を意味しません。たとえ最小誤差がゼロであっても、ゼロに達するために "十分に大きな"ネットワークが必要なわけではありませんが、いつもveeeeryの小さなイプシロンで終わるかもしれません（ただし、望む限り長く減らすことができます）。たとえば、Sigmoid/Softmax出力を持つ分類タスクで訓練されたネットワークでは、アクティベーションを常に「1に近づける」または「0に近い」ことができるため、ログ損失（クロスエントロピー損失）を最小限に抑えることはできませんが、どちらも達成できませんこれらの。

だから、数学的な観点からの回答は、実用的な観点から、何ではありません - 有限トレーニングセットと決定論的マッピングの仮定の下で - 答えはイエスです。

特に精度のを尋ねるとき、データポイントごとに固有のラベルを持つ有限のデータセットを持つと、100％の精度を持つニューラルネットワークを手作業で簡単に構築できます。しかし、これは最小限の損失を意味するものではありません（前述）。したがって、最適化の観点からは、「ゼロ誤差」は得られません。