SVDが線形回帰に適用される理由

Question

SVDが最小二乗問題に適用されるのはなぜですか？

そして、それは、この次のとおりです。撮影した残差の派生だった、それはの投影を取るためにそのグラフにアイデアである理由

そして、ここに私は理解していませんエラーを最小限に抑えるためにy？ここで

Answer 1

はこれを説明するために私の謙虚な試験である...
最初のスライドには、SVDはLSに関連しているか、まだ説明していません。しかし、Xが「標準」行列であるときはいつでも、特異行列で問題を変換できます（対角要素だけがヌルではない） - 計算に便利です。
スライド2は、特異行列を使用して実行される計算を示しています。
説明3：rのノルムを最小にすることは、RSSである正方形を最小にすることと同じです（x> x * xはx> 0のために増加する関数なので）。 RSSを最小化する：「良い」関数を最小化するのと同じように、それを派生させて0に等しくする。