複数のモデルから抽出されたフィーチャセットの結合

Question

SklearnとCaffeを使用して、一連のトレーニングとテストの画像からフィーチャを抽出しました。特徴抽出を実行するために、私はCaffe Model Zooから3つの異なる事前訓練されたコンビネーションを使用しました。

3組の機能のいずれかを使用して、テストデータに対して約80％正確なSVMを訓練することができます。しかし、3つの機能すべての能力を活用する最良の方法は何ですか？

私は3つの別々のSVMの結果を単純に平均化してみましたが（各ラベルの確率予測の平均をとっています）、単一のモデルよりも改善はありませんでした。

フィーチャセットを1つの大きなセットに連結し、それをSVM（またはその他）のトレーニングに使用すると役立ちますか？

データセットがマルチクラスマルチラベルであることに注意してください。ありがとう。

Answer 1

これは機能を組み合わせるための良い方法ではありません。 機械学習では、アンサンブル技術を使用します。アンサンブル技術：バギング、ブースティング、スタッキング、階層。 私の経験から、私は増強または積み重ねのいずれかで作業するのが好きです。 ブースティングは、ベースの学習者を訓練するために使用された機能と同様に、データの分布を変更し続ける貪欲な学習戦略であり、今後の基本学習者は困難なサンプルに焦点を合わせます。 viola jones adaboostクラシファイアについて読む 重大なデータの不均衡の問題がある場合はSMOTEBoostアルゴリズム