回帰における代入と係数

Question

回帰モデルwe don't penalize the intercept (Lasso and Ride)ではなぜそうですか？有意性を傍受するもの

なぜOver fitting modelが大きな係数を持つ傾向がありますか？

Answer 1

リッジとLASSOは、それぞれL1とL2の正則化を使用するのと同等です。正規化は、分散を減らし、オーバーフィットを避けるのに役立ちます。だから、あなたの質問は、尋ねることと同等です。インターセプトのペナルティが、モデルを正規化し、高分散を避けるのに役立つでしょうか？インターセプトをペナルティ化すると、それが変化に抵抗し、デフォルトの位置（おそらくゼロまたは小さなランダムな初期値）になります。しかし、このランダム初期化に意味があると仮定する理由はありません。他の係数を正規化すると、剛性がモデルに加わり、概念的な柔軟性が低くなり、ねじれや回転が少なくなり（分散が小さくなります）。しかし、インターセプトに正則化を適用すると、線がy軸を横切る点がドラッグされ、特に効果がないジオメトリが移動します。少なくとも、それは私がそれをどのように視覚化するかです。希望が役立ちます。