線形回帰vsクローズドフォームPythonの普通の最小二乗

Question

pythonを使って約50個のフィーチャを持つ9つのサンプルのデータセットに対して線形回帰法を適用しようとしています。私は、線形回帰、すなわち閉形式OLS（普通最小二乗）、LR（線形回帰）、HR（Huber回帰）、NNLS（非負最小二乗）のための異なる方法論を試み、それらのそれぞれが異なる重みを与える。

しかし、私は、HRとNNLSが異なる解を持っているという直感を得ることができますが、LRとクローズドフォームOLSは、与えられたサンプルの観測値と予測された値の差の二乗の和を最小にする同じ目的関数を持っています。一連の特徴の線形関数である。トレーニングセットは特異なので、私はClosed form OLSを実行するためにpseudoinverseを使用しなければなりませんでした。 LRについて

w = np.dot(train_features.T, train_features) 
w1 = np.dot(np.linalg.pinv(w), np.dot(train_features.T,train_target)) 

iがscikit学習線形回帰が

 linear_model.LinearRegression() 

線形方程式のシステムまたは多項方程式のシステムは劣決定と呼ばれる最小二乗問題を解決するためにwww.netlib.orgからLAPACKライ​​ブラリを使用を使用しています利用可能な方程式の数が未知のパラメータより少ない場合。未知の各パラメータは、利用可能な自由度としてカウントすることができます。提示された各方程式は、1つの自由度を制限する制約として適用することができます。その結果、過小決定されたシステムは、無限に多くの解を有するか、全く解を持たない。我々のケーススタディでは、システムが未決定であり、また特異であるので、多くの解決策が存在する。

ここで、疑似反復とLapackの両方のライブラリは、標本の数がフィーチャの数より少ない場合、不足システムの最小ノルム解を見つけようとします。なぜ閉じた形とLRが同じ線形方程式系の完全に異なる解を与えるのか？私はここで何かを逃しているので、両方の方法の振る舞いを説明することができます。もしPudoinverseがSVD、QR/LQ分解のように異なる方法で計算された場合、それらは同じ方程式の組に対して異なる解を生み出すことができるのですか？

Answer 1

docs of sklearn's LinearRegressionをもう一度ご覧ください。

デフォルトでは（呼び出すように）、傍受用語にも適合します。

デモ：

import numpy as np 
from sklearn.datasets import load_boston 
from sklearn.linear_model import LinearRegression 

X, y = load_boston(return_X_y=True) 

""" OLS custom """ 
w = np.dot(np.linalg.pinv(X), y) 
print('custom') 
print(w) 

""" sklearn's LinearRegression (default) """ 
clf = LinearRegression() 
print('sklearn default') 
print(clf.fit(X, y).coef_) 


""" sklearn's LinearRegression (no intercept-fitting) """ 
print('sklearn fit_intercept=False') 
clf = LinearRegression(fit_intercept=False) 
print(clf.fit(X, y).coef_) 

出力：

custom 
[ -9.16297843e-02 4.86751203e-02 -3.77930006e-03 2.85636751e+00 
    -2.88077933e+00 5.92521432e+00 -7.22447929e-03 -9.67995240e-01 
    1.70443393e-01 -9.38925373e-03 -3.92425680e-01 1.2e-02 
    -4.16972624e-01] 
sklearn default 
[ -1.07170557e-01 4.63952195e-02 2.08602395e-02 2.68856140e+00 
    -1.77957587e+01 3.80475246e+00 7.51061703e-04 -1.47575880e+00 
    3.05655038e-01 -1.23293463e-02 -9.53463555e-01 9.39251272e-03 
    -5.25466633e-01] 
sklearn fit_intercept=False 
[ -9.16297843e-02 4.86751203e-02 -3.77930006e-03 2.85636751e+00 
    -2.88077933e+00 5.92521432e+00 -7.22447929e-03 -9.67995240e-01 
    1.70443393e-01 -9.38925373e-03 -3.92425680e-01 1.2e-02 
    -4.16972624e-01]