scikit-learnのpredict_probaとdecision_functionの違いは何ですか？

Question

私はscikit-learn example（クラシファイアの比較）を勉強しており、predict_probaとdecision_functionと混同しています。

これらは、Z = clf.decision_function()またはZ = clf.predict_proba()のいずれかを使用して輪郭を描画することによって分類結果をプロットします。

これら2つの違いは何ですか？それぞれの分類方法がスコアの2つのどちらかを持つようになっていますか？

どちらが分類結果を解釈するのに適していますか、どちらから選択する必要がありますか？

Answer 1

後者のpredict_probaは、各クラスにインスタンスが存在する確率を出力する（ソフト）分類器のメソッドです。

前者のdecision_functionは、分離超平面までの距離を求めます。例えば、（n）SVM分類器は、空間を分類結果に関連する領域に分離する超平面を見つける。この関数は、ポイントを与えられて、セパレータとの距離を求めます。

私は、predict_probが一般的にあなたの場合にはより便利だと思います - 他の方法はアルゴリズムに特有です。

Answer 2

あなたの例では、それが存在する場合、そのコードはdecision_functionを使用しています

if hasattr(clf, "decision_function"): 
    Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()]) 
else: 
    Z = clf.predict_proba(np.c_[xx.ravel(), yy.ravel()])[:, 1] 

です。 SVMの場合に、predict_probaは

is both "expensive" and has "theoretical issues"スケーリングプラットを使用

（バイナリの場合に）計算されます。だからここではdecision_functionが使われます。 （@Amiが言ったように、これはマージン - 超平面への距離です。それ以上の計算なしでアクセスできます）。 SVMの場合、

predict_probaの代わりに decision_functionを使用することをお勧めします。

decision_function：SGDClassifier'sがあります。ここで、predict_probaは損失関数に依存し、decision_functionは普遍的に利用可能である。