ランダム値に対して分類器の精度をテストするにはどうすればよいですか？

Question

私は最初のscikit-learnの例を試してみました。私は予測の正確さを評価しようとしています。私は訓練とテストリストがうまくセットアップされていますが、私はそれがランダムな値を与えても〜0.95の精度を得ています。

これは私が0/1ラベルをチェックしているためと思われます。ラベルの95％は0なので、0と推測して0.95の精度を得ています（私は思いますか？）。明らかに、これは私が望むものではありません。

分類器が機能しているかどうかを判断するにはどうすればよいでしょうか、意味のある精度値を取得するにはどうすればよいですか？

Answer 1

あなたは明確なクラスの不均衡の問題があります。あなたのクラシファイアは、それが正しい時間の95％になることを知っているいつも0を予測しています。あなたは、あなたのフィットしたクラシファイアでpredict(X_test)を呼び出すことによってこれを検査することができます。すべての値が0の場合、これが当てはまります。

モデルがどのように実行されるかについてより良いアイデアを得るには、1というラベルの付いたデータをアップサンプリングするか、0というラベルの付いたデータをダウンサンプリングします。このpackageは、scikit-learnを構築し、多数のリサンプリングメソッドを実装しています。あるいは、scikit learns resamplingメソッドを使用することもできます。あなたのために新しいデータポイントをブートストラップします。