ROC曲線を使用した評価

Question

私は、3つのパラメータを取り、2値画像を生成する画像処理アルゴリズムを持っています。それぞれの画像に私はground truthを持っています。だから私は正/偽陽性/陰性を計算することができます。結果の2値画像は3つのパラメータに依存します。各パラメータは一定の間隔で値を取ることができます（0.0から1.0まで）。最良の結果を見つけるには、各組み合わせ（合計1000）でアルゴリズムを実行します。それぞれの結果について私は統計を計算します。

ここで、どのパラメータが最良の結果につながるかを知りたいと思います。私はアルゴリズム工学からROC curveを知っています。これは道のりですか、それともF1-scoreを計算して最高得点につながるパラメータを取る方が良いですか？

ROC曲線は次のようになります。

Answer 1

あなたはROC曲線が何であるかを誤解されています。

1つは、決定閾値を変化させることによって、1つのプレディクタ（固定された1組のパラメータを有する）からROC曲線を構築する。これはあなたがここでやったこととまったく反対です。ここではパラメータを変更し、閾値を固定したままにしています（0.5かもしれません）。

あなたができることは、1000個のROCカーブを作成し、最高のものを選択することです。それがあなたの場合に適切かどうかは、別の質問です。