無制限に大きなトレーニングセットで正規化しますか？

Question

私は、ニューラルネットワークを訓練するために無期限に大きなトレーニングセットを持っています。

このシナリオでは、ドロップアウトなどの正規化手法を使用することは意味がありますか？

Answer 1

はい、おそらくまだあります。ドロップアウトはある意味では正規化ですが、L1ノルムのようなものよりもずっと微妙です。これは、元の論文に記載されているように、特徴検出器の過度の同時適応を防止する。

新しいデータではそうでない可能性があるため、トレーニングセットの中で最も優れている機能であっても、機能が1つだけであれ機能が少ない場合でもネットワークを習得する必要はないでしょう。直感的に、画像中の人を認識するように訓練されたドロップアウトを有するネットワークは、たとえ顔の高レベルの特徴が何らかの割合で欠落しているため、顔が曖昧であれば、時間の）;ドロップアウトなしで訓練されたネットワークは、（顔の特徴はおそらく人を検出するための最良の単一の機能の1つであるためではない）。ドロップアウトはある程度の強制概念の一般化と考えることができます。

経験的に、ドロップアウトを使用して生成されるフィーチャ検出器は、ドロップアウトが使用されるときにはるかに構造化されています（たとえば、イメージの場合：最初の数層の場合はガボールフィルタに近い）。ドロップアウトなしではランダムに近づきます（ネットワークがGaborフィルタに近似しているために、ランダムフィルタの特定のリニアコンボを使用して収束しています）、ドロップされていないコンボの要素に頼ることができれば、フィルタ）。これは独立した機能を早期に独立して実装することを強制し、後でクロストークを低くする可能性があるため、これはおそらく良いことです。