SVM - 最良のパラメータ（例：C、ガンマ）を示すデータのプロパティがありますか？

Question

最良のパラメータを決定するために相互検証を使用するのはかなり標準的です。もちろん、これは通常、時間のかかるプロセスです。ショートカットはありますか？他のより速く、探索的分析の形式は、どの値が最良になるかのヒントを提供しますか？

たとえば、機械学習とSVMの現在の理解では、Cの10の指数で[10e-5、10e5]の範囲で初期グリッド検索を実行してから、そこ。しかし、最良のCが10e3から10e5の間のどこかにあるとすぐに見積もり、より具体的な検索を実行する方法はありますか？

この質問はおそらくほとんどのMLテクニックに当てはまりますが、私は現在SVMで作業しています。

Answer 1

はい、これは活発な研究領域です！ハイパーパラメータチューニングには、私たちがよく知っている（おそらく愛する）標準的なグリッド検索のほかに、さまざまなアプローチで多くの作業が行われています。

あなたが記述しているのと最も類似している領域は、問題に対するさまざまなベイジアン/ガウスプロセスアプローチです。このgithubリポジトリには、実装方法と、それがどのように動作するかについての有益な画像があります。https://github.com/fmfn/BayesianOptimizationこのアプローチは、パラメータ最適化問題を、別の機械学習問題として取り扱い、すべての超パラメータについての特徴を有し、様々なパラメータの組み合わせの性能を予測しようとすることによって機能する。

これはプロセスの高水準な説明です。詳細については、レポのリンクされた論文/ノートブックを読むことができます。