サポートベクターマシン対K最近隣の

Question

私は、KNNのalgoを使用して、私は90％の精度を得ているが、SVMを使用すると70％以上を得ることができます。 SVMはKNNよりも優れていません。私はこれが愚かであるかもしれないが、KNN algoとほぼ同じ結果を与えるSVMのパラメータは何かを知っています。私はmatlabでlibsvmパッケージを使用しています。R2008

Answer 1

kNNとSVMは学習のさまざまなアプローチを表しています。各手法は、基礎をなすデータに対して異なるモデルを意味します。

SVMは、データポイントを分離するハイプレーン（かなり限定的な仮定）が存在すると仮定しますが、kNNはノンパラメトリックな方法（パラセンウィンドウ推定の粗近似）でデータの基礎分布を近似しようとします。

アルゴリズムと構成が最もよく使用されているかどうかを判断するには、シナリオの詳細を確認する必要があります。

Answer 2

実際に使用しているデータセットによって異なります。この画像の最初の行（http://scikit-learn.org/stable/_images/plot_classifier_comparison_1.png）のようなものがあれば、kNNは本当にうまく動作し、Linear SVMは本当にひどく動作します。

SVMのパフォーマンスを向上させたい場合は、カーネルベースのSVMを画像のように使用できます（rbfカーネルを使用します）。

あなたはscikitは、学ぶのpythonのためにあなたがコードでビットを再生することができます使用している場合は、ここでカーネルSVMを使用する方法を確認しhttp://scikit-learn.org/stable/modules/svm.html

Answer 3

k最近傍は、基本的には、「あなたは座標xに近いなら、その分類を言いますxの観察結果に類似しています。 SVMでは、近似アナログは、SVMがより多くオーバーフィットするため、 "小さい"帯域幅パラメータを持つ高次元カーネルを使用しています。つまり、SVMは「あなたがxを座標に近づけているならば、その分類はxで観測されたものに似ています」に近づくでしょう。

ガウスカーネルを使い、さまざまなパラメータについて結果を確認することをお勧めします。私自身の経験（もちろん、特定のタイプのデータセットに焦点を当てて、あなたの走行距離が変わるかもしれない）から、チューニングされたSVMはチューニングされたkNNよりも優れています。あなたのための

質問：k最近傍で

1）どのように選択しているのk？

2）SVMでどのようなパラメータを試しましたか？

3）サンプル中またはサンプル外の精度を測定していますか？