IRLSでscipyの最小二乗関数を理解する

Question

この関数の仕組みを理解するのに少し問題があります。

a, b = scipy.linalg.lstsq(X, w*signal)[0] 

私はその信号が信号を表す配列である知っていると、現在wがちょうど[1,1,1,1,1...]

どのように私は、加重最小二乗を模倣するXまたはwを操作したり、反復最小二乗再重み付けする必要がありますか？

Answer 1

後あなたは、加重最小二乗を計算することができSQRT（重量）とあなたの製品XとYの場合。 次のリンクで式を取得することができます：

データ準備：

import numpy as np 
np.random.seed(0) 
N = 20 
X = np.random.rand(N, 3) 
w = np.array([1.0, 2.0, 3.0]) 
y = np.dot(X, w) + np.random.rand(N) * 0.1 

OLS：

from scipy import linalg 
w1 = linalg.lstsq(X, y)[0] 
print w1 

出力：

を

ここhttp://en.wikipedia.org/wiki/Linear_least_squares_%28mathematics%29#Weighted_linear_least_squares

は一例です

[ 0.98561405 2.0275357 3.05930664] 

WLS：

weights = np.linspace(1, 2, N) 
Xw = X * np.sqrt(weights)[:, None] 
yw = y * np.sqrt(weights) 
print linalg.lstsq(Xw, yw)[0] 

出力：statsmodelsによって

[ 0.98799029 2.02599521 3.0623824 ] 

チェック結果：

import statsmodels.api as sm 
mod_wls = sm.WLS(y, X, weights=weights) 
res = mod_wls.fit() 
print res.params 

出力：

[ 0.98799029 2.02599521 3.0623824 ] 

Answer 2

wの要素単​​位の平方根から対角行列Wを作成します。その後、私はあなただけしたいと思う：

scipy.linalg.lstsq(np.dot(W, X), np.dot(W*signal)) 

http://en.wikipedia.org/wiki/Linear_least_squares_(mathematics)#Weighted_linear_least_squares