2016-10-01 15 views
0

私は、現在最も寛容で最も表現力のないクラスの間で、9クラスと12:1の比の非常に不均衡なデータセットに苦しんでいます。すべてのクラスが等しく表現されるまでwekaのSMOTEフィルターを適用すると、全体の分類精度が86%から分類精度が95%に大幅に向上しました。 SMOTEフィルタを適用する前に、SMOTEフィルタを94%〜99%の間で適用した後、40%〜99%の範囲にある個々のクラス精度(真陽性)も一般的に改善されています。これにより、SMOTEフィルタが適用された回数によって精度が向上しています。WEOTのフィルタ - 結果の解釈方法

「新しい」結果はどれくらい信頼できますか?これはオーバーフィットの効果が大きいでしょうか?

答えて

0

誰か他の人が同じ問題を抱えている場合に備えて、私は結果に頭を浮かべたいだけです。残念ながら、精度の向上はオーバーフィットから生じる可能性が最も高いようです。 私は、クロスバリデーションの代わりにtraining-test-setupを使用してこの結論に達しました。データをランダム化し、85%のトレーニングデータと15%のテストデータの2つの部分に分割しました。次に、すべてのクラスが等しく表されるまで、トレーニングデータにSMOTEフィルタを適用しました。次に、このアップサンプリングされたデータは、分類モデル(END-インプリメンテーション)を訓練し、テストデータを分類に使用した。これにより、この設定とSMOTEを用いた分類結果は、SMOTEを除いた分類結果に非常に近く、合計で約86%であった。したがって、精度の向上は、相互検証セットアップのテストデータもアップスケールされており、オーバーフィッティングを促進するという事実から生じたものと思われる。

誰でもこれについて詳しく知りますか?あるいはこれらの発見に挑戦したい人はいますか?

関連する問題