機械学習 - 特定のクラスの分類を改善する方法

Question

私はランダムなフォレストを使用して分類の問題を抱えています。レスポンスには5つのクラスがあります。すべてのクラスはトレーニングセットに均等に分散されていますが、テストデータセットでは2つのクラスが大部分を占めています。それが挑戦的なのは、検証セットでは、これらの2つのクラスも最悪の精度を持つことがわかります。だから私の質問は、私の全体的な予測を改善するために、これらの2つのクラスの分類精度を向上させる方法があるかどうかです。

入力があれば幸いです！

Answer 1

簡単な方法の1つは、目的の機能を変更して、特定のクラスの誤った分類の損失をより多く/より少なくすることです。例えば、仮定する予測はYとTと地上の真実（両方のベクター）でマークされ、その後、通常の損失関数は単純です：上記

total_loss(Y,T) == \sum_n loss(y_n, t_n) 

、誤分類のためのペナルティはできる、すべてのクラスで同じです

total_loss(Y,T) == \sum_n C(t_n) * loss(y_n, t_n) 

ここで、C（t_n）は、クラスt_nに割り当てられた重みを表します。

次に、devセットのperformaceを最大にするようにCを調整し、テストセットの改善を見てみましょう（devセットのラベル配布がテストセットのラベル配布と類似していると仮定します）。

正しい方法のように聞こえる場合は、意思決定理論（ビショップのPRMLブックの第1.5節）とコストに敏感な学習（hereとhere）を少し読んでみてください。