scikit-learnで独自のスコアラー機能を作成/カスタマイズする方法は？

Question

GridSearchCVで推定値としてSupport Vector Regressionを使用しています。しかし、私はエラー関数を変更したい：デフォルト（R-二乗：決定の係数）を使用する代わりに、自分のカスタムエラー関数を定義したいと思う。

make_scorerで作成しようとしましたが、機能しませんでした。

私はドキュメントを読んでcustom estimatorsを作成することができますが、エスカレータ全体を再作成する必要はなく、エラー/スコアリング機能のみを再作成する必要はありません。

私はそれがdocsのように、スコアリング担当者としてコール可能を定義することによってそれを行うことができると思います。

しかし、推測子の使用方法はわかりません。私の場合はSVRです。分類器（SVCなど）に切り替える必要がありますか？そして私はそれをどのように使用しますか？次のように

マイカスタムエラー機能は次のとおりです。

def my_custom_loss_func(X_train_scaled, Y_train_scaled): 
    error, M = 0, 0 
    for i in range(0, len(Y_train_scaled)): 
     z = (Y_train_scaled[i] - M) 
     if X_train_scaled[i] > M and Y_train_scaled[i] > M and (X_train_scaled[i] - Y_train_scaled[i]) > 0: 
      error_i = (abs(Y_train_scaled[i] - X_train_scaled[i]))**(2*np.exp(z)) 
     if X_train_scaled[i] > M and Y_train_scaled[i] > M and (X_train_scaled[i] - Y_train_scaled[i]) < 0: 
      error_i = -(abs((Y_train_scaled[i] - X_train_scaled[i]))**(2*np.exp(z))) 
     if X_train_scaled[i] > M and Y_train_scaled[i] < M: 
      error_i = -(abs(Y_train_scaled[i] - X_train_scaled[i]))**(2*np.exp(-z)) 
    error += error_i 
    return error 

変数Mは/ゼロnullではありません。単純化のためにゼロに設定しました。

このカスタムスコアリング関数のサンプルアプリケーションは誰でも表示できますか？ご協力いただきありがとうございます！

Answer 1

ご覧のとおり、これはmake_scorer（docs）を使用して行われます。

from sklearn.grid_search import GridSearchCV 
from sklearn.metrics.scorer import make_scorer 
from sklearn.svm import SVR 

import numpy as np 

rng = np.random.RandomState(1) 

def my_custom_loss_func(X_train_scaled, Y_train_scaled): 
    error, M = 0, 0 
    for i in range(0, len(Y_train_scaled)): 
     z = (Y_train_scaled[i] - M) 
     if X_train_scaled[i] > M and Y_train_scaled[i] > M and (X_train_scaled[i] - Y_train_scaled[i]) > 0: 
      error_i = (abs(Y_train_scaled[i] - X_train_scaled[i]))**(2*np.exp(z)) 
     if X_train_scaled[i] > M and Y_train_scaled[i] > M and (X_train_scaled[i] - Y_train_scaled[i]) < 0: 
      error_i = -(abs((Y_train_scaled[i] - X_train_scaled[i]))**(2*np.exp(z))) 
     if X_train_scaled[i] > M and Y_train_scaled[i] < M: 
      error_i = -(abs(Y_train_scaled[i] - X_train_scaled[i]))**(2*np.exp(-z)) 
    error += error_i 
    return error 

# Generate sample data 
X = 5 * rng.rand(10000, 1) 
y = np.sin(X).ravel() 

# Add noise to targets 
y[::5] += 3 * (0.5 - rng.rand(X.shape[0]/5)) 

train_size = 100 

my_scorer = make_scorer(my_custom_loss_func, greater_is_better=True) 

svr = GridSearchCV(SVR(kernel='rbf', gamma=0.1), 
        scoring=my_scorer, 
        cv=5, 
        param_grid={"C": [1e0, 1e1, 1e2, 1e3], 
           "gamma": np.logspace(-2, 2, 5)}) 

svr.fit(X[:train_size], y[:train_size]) 

print svr.best_params_ 
print svr.score(X[train_size:], y[train_size:]) 

Answer 2

ジェイミーは肉付け例がありますが、ここからまっすぐmake_scorerを使用した例ですscikit-学ぶdocumentationは：

import numpy as np 
def my_custom_loss_func(ground_truth, predictions): 
    diff = np.abs(ground_truth - predictions).max() 
    return np.log(1 + diff) 

# loss_func will negate the return value of my_custom_loss_func, 
# which will be np.log(2), 0.693, given the values for ground_truth 
# and predictions defined below. 
loss = make_scorer(my_custom_loss_func, greater_is_better=False) 
score = make_scorer(my_custom_loss_func, greater_is_better=True) 
ground_truth = [[1, 1]] 
predictions = [0, 1] 
from sklearn.dummy import DummyClassifier 
clf = DummyClassifier(strategy='most_frequent', random_state=0) 
clf = clf.fit(ground_truth, predictions) 
loss(clf,ground_truth, predictions) 

score(clf,ground_truth, predictions) 

sklearn.metrics.make_scorerを経由してカスタム得点を定義し、大会は、カスタム関数がで終わるということです_scoreは、最大化する値を返します。 _lossまたは_errorで終わるスコアラーの場合、最小値に戻されます。この機能を使用するにはgreater_is_betterパラメータをmake_scorerに設定します。つまり、このパラメータは、値が高いほど得点が高い場合はTrue、値が小さいほどスコアが高い場合はFalseとなります。 GridSearchCVは、適切な方向に最適化できます。

from sklearn.metrics.scorer import make_scorer 

def custom_loss_func(X_train_scaled, Y_train_scaled): 
    error, M = 0, 0 
    for i in range(0, len(Y_train_scaled)): 
     z = (Y_train_scaled[i] - M) 
     if X_train_scaled[i] > M and Y_train_scaled[i] > M and (X_train_scaled[i] - Y_train_scaled[i]) > 0: 
      error_i = (abs(Y_train_scaled[i] - X_train_scaled[i]))**(2*np.exp(z)) 
     if X_train_scaled[i] > M and Y_train_scaled[i] > M and (X_train_scaled[i] - Y_train_scaled[i]) < 0: 
      error_i = -(abs((Y_train_scaled[i] - X_train_scaled[i]))**(2*np.exp(z))) 
     if X_train_scaled[i] > M and Y_train_scaled[i] < M: 
      error_i = -(abs(Y_train_scaled[i] - X_train_scaled[i]))**(2*np.exp(-z)) 
    error += error_i 
    return error 


custom_scorer = make_scorer(custom_loss_func, greater_is_better=True) 

をそして、あなたは他のあらゆるスコアリング関数としてGridSearchCVにcustom_scorerを渡す：

あなたは次のように得点王としてあなたの関数に変換することができclf = GridSearchCV(scoring=custom_scorer)。