Pythonで使用できる最も速いSVM実装

Question

私はPythonでいくつかの予測モデルを構築しており、scikits learnのSVM実装を使用しています。それは本当に素晴らしく、使いやすく、比較的速いです。

残念ながら、私はランタイムによって制約を受けるようになり始めています。 650フィーチャで約4 - 5000のフルデータセットでrbf SVMを実行します。各ランは約1分かかります。しかし、5倍のクロスバリデーション+グリッド検索（粗い検索から細かい検索まで）では、私の仕事のために少しでも実現できません。だから一般的に、人々はPythonで使える最速のSVMの実装に関して何か勧告を持っていますか？それとも、私のモデリングをスピードアップする方法？

LIBSVMのGPU実装について聞いたことがありますが、これはうまくいくようです。私は、Pythonで使用可能な他のGPU SVM実装については知らないが、間違いなく他の人にも公開されるだろう。また、GPUを使用するとランタイムが大幅に増加しますか？

また、リビジョンSVM +フィーチャマップをscikitsで近似する方法もあると聞いてきました。このアプローチについて人々がどのように考えているかはわかりません。繰り返しになりますが、このアプローチを使用している人は、ランタイムの大幅な増加ですか？

プログラムの速度を上げるためのすべてのアイデアが大歓迎です。

Answer 1

私が知る最もスケーラブルなカーネルSVMの実装はLaSVMです。 Cython、ctypesまたはcffiを知っているなら、それはCで書かれているので、Pythonでラップ可能です。あるいは、コマンドラインから使用することもできます。 sklearn.datasetsのユーティリティを使用して、NumPyまたはCSR形式のデータを、LaSVMがトレーニング/テストセットとして使用できるsvmlight形式のファイルにロードできます。

Answer 2

SVMライブラリを比較することなく、相互検証（クロスバリデーション）が実際のマルチスレッド（つまり複数のCPUを並行して実行する）の恩恵を受けると考えています。 CPythonを使用している場合は、GILのため、（おそらく）マルチコアマシンを利用しません。

この制限がないPythonの他の実装を試すことができます。 .NETへ行く場合は、PyPyまたはIronPythonを参照してください。

Answer 3

代わりにあなたの代わりに、完全なデータセットの1000個のランダムなサンプルにグリッド検索を実行できます。

>>> from sklearn.cross_validation import ShuffleSplit 
>>> cv = ShuffleSplit(3, test_fraction=0.2, train_fraction=0.2, random_state=0) 
>>> gs = GridSeachCV(clf, params_grid, cv=cv, n_jobs=-1, verbose=2) 
>>> gs.fit(X, y) 

それは5000個のサンプルのための最適なパラメータは、1000個のサンプルのための最適なパラメータに非常に近くなる可能性が非常に高いです。だからこそ、粗いグリッド検索を開始するには良い方法です。

n_jobs=-1すべてのCPUを使用して、個々のCV適合を並行して実行することができます。マルチ処理を使用しているので、Python GILは問題になりません。

Answer 4

最初に、scikit-learnのベンチマーク（here）によると、scikit-learnはすでに、最速ではないにしても最速のSVMパッケージの1つです。したがって、トレーニングをスピードアップするための他の方法を検討することもできます。

bavazaが提案したように、トレーニングプロセスをマルチスレッド化することができます。 Scikit-learnのGridSearchCVクラスを使用している場合、n_jobs引数をデフォルト値の1より大きく設定すると、より多くのメモリを使用する代わりに、訓練を並行して実行できます。 あなたは将軍機械学習ライブラリ here

将軍を見てとることができ、クラスを使用する方法の例をhere

代わりに見つけることができ、そのマニュアルhereを見つけることができ、大規模な機械学習のために設計されています多くの一般的なsvmパッケージへのラッパーが付いており、Pythonのバインディングを使ってC/C++で実装されています。上記のScikit-learnのベンチマークによると、速度はscikit-learnに匹敵します。他の仕事（彼らが実演したもの以外）では、もっと速いかもしれないので、試してみる価値があります。

最後に、次元の縮小を試みることができます。 PCAまたはランダム化PCAを使用して、特徴ベクトルの次元を縮小します。それはトレーニングプロセスをスピードアップします。それぞれのクラスのドキュメントは、PCA、Randomized PCAの2つのリンクにあります。 Scikit-learnの例のセクションでそれらを使用する方法の例を見つけることができます。

Answer 5

RBFカーネル（またはその他の2次カーネル）だけを使用したい場合は、LIBSVMをMATLABまたはOctaveで使用することをお勧めします。私は約6秒で7000の観測と500の特徴のモデルを訓練する。

このトリックは、LIBSVMが提供する事前計算カーネルを使用し、いくつかの行列代数を使用して、データを2回ラップするのではなく、1ステップでカーネルを計算します。 LIBSVM自身のRBFカーネルを使用するよりも、カーネルのビルドに約2秒かかります。私はあなたがNumPyを使ってPythonでそうすることができるだろうと推測していますが、試していないのでわかりません。

Answer 6

お試しsvm_light！

infamous Thorsten Joachims at Cornellの邪悪な高速のC実装で、良いPythonバインディングがあり、pip install pysvmlightでインストールできます。

Answer 7

入力する機能の数を減らすためにrandom forestを使用することを検討します。

機能のインポートを生成するために、ExtraTreesRegressorとExtraTreesClassifierのオプションがあります。この情報を使用して、SVMにフィーチャのサブセットを入力できます。

Answer 8

私はScikit-LearnのStochastic Gradient Descentの実装を見ることをお勧めします。デフォルトのヒンジ損失は線形SVMです。私はそれが驚くほど速いことが分かった。

Answer 9

あなたの問題は、二つのクラスである場合は、scikit-学ぶとCUDAベースのSVMのこのラッピングは便利です：私はそれに見ていきますbavaza

https://github.com/niitsuma/gpusvm/tree/master/python