体重減少と入力の正規化

Question

私はtensorflowを初めて使用しています。サンプルCNNプログラムは体重を減らすために減量を使用していますが、最初に入力を正規化するとは限りません。

重量減少は入力正規化と同じ目的ですか？

これらの違いは何ですか？

Answer 1

減量は、モデルのオーバーフィットを制御するために使用される正則化のタイプです。重量減少は、L2正規化としてより一般的に知られています。減量は、線形回帰、ロジスティック回帰などの浅い学習アルゴリズムで一般的に使用されます。深部学習（例：CNNを使用）では、減量はそれほど一般的ではありません。実際、ドロップアウトのような他の正規化方法が使用されています。

一方、入力正規化は、入力データをゼロに合わせ、入力データの範囲を制限することを指します。この手順は、データの迅速な収束に役立ちます。

この2つの概念をどのように適用する必要があるかに関する一般的な固定規則はありません。したがって、あなたはこの2つの概念のいくつかのバリエーションを見ているかもしれません。