キャレットの平均クラス確率からのAUC R

Question

caretパッケージを使用したクロスバリデーション後のバイナリクラシファイアから曲線下面積（AUC）を取得したいと考えています。

標準的な混同行列については、にはaverage引数が使用されています。

例：など

controls = trainControl(method="repeatedcv" 
        , number=5 
        , repeats=10 
        , selectionFunction = "oneSE" 
        , classProbs = T 
        , summaryFunction = twoClassSummary 
) 

svm_5k = train(veracity ~ . 
      , data = training_data 
      , method = "svmLinear" 
      , trControl = controls 
      , verbose = FALSE 
      , metric = 'ROC' 
) 

そして混同行列は精度のために使用され、F1、

confmat = caret::confusionMatrix(svm_5k 
          , 'average') 

は、今私はAUCと闘争：私は今、クラスちゃったごめんなさいを取得し、添付していますそれらのデータをtesting_data$prob = predict(svm_5k, testing_data, type='prob')[,2]

のように表示します。pROCパッケージを使用して

01のようなAUCを取得すると controlsに示されているが、分類器の単なるスナップショットとして

...

...私はクロスバリデーションを使用していません。

CVから平均化された確率を使用してAUCを得る方法はありますか？

Answer 1

は今、uはuは曲線の下の感度、特異性およびエリアのようなROCから必要なすべてのものを得ることができます

predict = predict(svm_5k, testing_data) 
roc <- roc(testing_data$veracity, as.numeric(predict)) 

を試してみてください。

auc <- auc(roc) 
sens <- roc$sensitivities[2] 
spec <- roc$specificities[2]