matlabの関数fminsearch を使用して、加重RBFカーネル分類子を使用してSVMの最適なハイパーパラメータを検索します。 fminsearchはNelder-Meadシンプレックス法を使用します。等価制約を使用したNelder-Mead最適化
のは、私は、次のハイパーを持っているとしましょう:ワットC、ガンマ、... nは wが wが、私はは、カーネルの重みです。
さらに、sum(w i)= 1という制約があります。つまり、すべての重みは1になる必要があります。
この等価制約でNelder-Meadを使用する可能性はありますか? Matlabにはfminsearchbnd のメソッドがあることがわかりますが、境界不等式の制約のみを処理できると思います。
編集:私はSVM分類子を使用しています。加重は加重RBFカーネルで使用されています(各機能ごとに1つの加重)。したがって、推定するパラメータは、C、γおよび重みである。コスト関数は精度です。
はい、私は0 <= w(i)<= 1、ヒントのおかげで必要です。そして、はい、私はw1 = 1-w2-w3 -...を行うことができましたが、なぜ制約和(w(i))= 1を落とすことができますか?たとえば、w2 = 0.8、w3 = 0.5、次にw1 = 1 - w2 - w3 = 1 - 0.8 - 0.5 <0 – machinery
fminconについて:どのアルゴリズムを使って解くのか知っていますか?私はNelder-Meadではないと思います。 fminconは線形で滑らかなコスト関数を仮定していますか?これは、私のコスト関数が平衡精度測度(SVM分類設定で)であるため、そうでないかもしれません。 – machinery
もしあなたがw(i)の範囲を持っていれば、それらを置き換えることはできません(ただし、境界は元の投稿には記載されていません)。 'fmincon'にはいくつかのアルゴリズムがあります。ドキュメントは実際には非常に良いです。ノンスムースの問題は常に問題を引き起こす可能性があります(必ずしもそうであるとは限りません)。可能であれば、何かに滑らかに再定式化しようとすることができます。 –