なぜ分類問題でAUCを最大化したいのですか？

Question

なぜ私たちの目的は、精度を最大化するとAUCを最大にすることなのでしょうか？

私は、精度を最大限にすることを第一の目標とすると、AUCは自動的に大きくなると思います。

Answer 1

私たちの方法が閾値とは無関係にデータをどれくらいよく分けることができるかを説明しているので、AUCを使用すると思います。 一部のアプリケーションでは、偽陽性または陰性であることは望ましくありません。また、精度を使用するときは、特異性や感度にかかわらず、データを分離するための最良のしきい値を先験的に作成しています。 。

Answer 2

バイナリ分類では、精度は特定のしきい値に対する単一モデルのパフォーマンスメトリックであり、AUC（ROC曲線下の面積）は、一連のしきい値に対する一連のモデルのパフォーマンスメトリックです。

この質問のおかげで、私はAUCと精度の比較についてかなりのことを学びました。私は両者の間に相関があるとは思わないが、これは未だに未解決の問題だと思う。この回答の最後に、theseのような便利なリンクがいくつか追加されています。

---

一つの精度が失敗したシナリオ：

---

例題

のは、あなたがのデータセットのモデルの性能を評価進分類問題を考えてみましょう100サンプル（のクラス0およびのクラス1）。

洗練された機械学習モデルを取り出し、それが受け取った入力が何であれ常に常に0を出力するダムシステムで置き換えます。 現在の精度はどのくらいですか？

Accuracy = Correct predictions/Total predictions = 98/100 = 0.98 

我々は"常に0"システム上の見事な98％の精度を得ました。

あなたのシステムをがん診断システムに変換し、一連の患者に対して（0 - 癌がない、1 - がん）の予測を開始します。クラス1に対応するいくつかのケースがあると仮定すると、あなたは依然として高い精度を達成します。

精度が高いにもかかわらず、クラス1（がん患者の特定）でうまくいかない場合、システムのポイントは何ですか？

---

この観察結果は、精度は機械学習の問題のすべてのタイプのための良好な評価指標ではないことを示唆しています。上記は不均衡な階級問題として知られており、この性質の十分な実用上の問題がある。精度とAUCの比較については

---

、ここで私が有用だと思ういくつかのリンクは

1. An introduction to ROC analysis
2. Area under curve of ROC vs. overall accuracy
3. Why is AUC higher for a classifier that is less accurate than for one that is more accurate?
4. What does AUC stand for and what is it?
5. Understanding ROC curve
、あります
6. ROC vs. Accuracy vs. AROC