リコールまたは精度の信頼区間/マージン

Question

サンプルセットに基づく混乱行列がある場合、リコール/精度/などの統計量（信頼区間/間隔）はどのようにして決めるのですか？私は変換の確率そのものについて統計力解析を行う方法を知っていますが、リコール/精度のためにはどのようにしたらいいですか？

Answer 1

これに対する回答が見つかりました。これは、p +/- Z_score_at_alpha * std_errorの標準信頼区間計算のやや修正された式です。唯一の違いは、オフセット（→adjusted_recall = TP + 2 /（TP + FN + 4））を使用してp（基本的にリコール確率）が計算されることです。

一般的な考え方は、pが0または1のとき、標準的な信頼区間の式は機能しないということです。この式は、それが動作するのを可能にする調整を提供します。

また、stdエラーはsqrt（adjusted_recall（1-adjusted_recall）/（N + 4））になりました。 これはウィルソンスコア間隔として知られている - https://en.wikipedia.org/wiki/Binomial_proportion_confidence_interval#Wilson_score_interval

http://www.stat.ucdavis.edu/~kwwong/STA13-SS1-12/Statistics_13_files/lecture05.pdf