ROCカーブが正しく見えない

Question

2クラスの問題に対して、ROCRパッケージを使用してROC曲線をプロットしました。私の理解によると、曲線は、少なくとも小規模なデータセットの場合は、ステップを変えるように見えるはずです。私の入力は実際には小さいですが、私が得る曲線は本質的に直線的なものです。それはPROCが曲線を通る線に合っているのか、それとも私が見逃している何か他のものなのでしょうか？

ここに入力はclick meであり、最後にROC部分があるコードは次のとおりです。あなたの助けに感謝！

library("caret") 
library("ROCR") 
sensor6data_s10_2class <- read.csv("/home/sensei/clustering/sensor6data_f21_s10_with2Labels.csv") 
sensor6data_s10_2class <- within(sensor6data_s10_2class, Class <- as.factor(Class)) 
sensor6data_s10_2class$Class2 <- relevel(sensor6data_s10_2class$Class,ref="1") 

set.seed("4321") 
inTrain_s10_2class <- createDataPartition(y = sensor6data_s10_2class$Class, p = .75, list = FALSE) 
training_s10_2class <- sensor6data_s10_2class[inTrain_s10_2class,] 
testing_s10_2class <- sensor6data_s10_2class[-inTrain_s10_2class,] 
y_s10 <- testing_s10_2class[,22] 

ctrl_s10_2class <- trainControl(method = "repeatedcv", number = 10, repeats = 10 , savePredictions = TRUE) 
model_train_multinom_s10_2class <- train(Class2 ~ ZCR + Energy + SpectralC + SpectralS + SpectralE + SpectralF + SpectralR + MFCC1 + MFCC2 + MFCC3 + MFCC4 + MFCC5 + MFCC6 + MFCC7 + MFCC8 + MFCC9 + MFCC10 + MFCC11 + MFCC12 + MFCC13, data = training_s10_2class, method="multinom", trControl = ctrl_s10_2class) 
pred_multinom_s10_2class = predict(model_train_multinom_s10_2class, newdata=testing_s10_2class) 

pred2_s10 <- prediction(as.numeric(as.character(pred_multinom_s10_2class)), as.numeric(as.character(y_s10))) 
perf2_s10 <- performance(pred2_s10, "tpr", "fpr") 
plot(perf2_s10,col='magenta',lwd=3) 

Answer 1

クラスラベルの代わりにクラス確率を予測する必要があります。これを試してみてください：

pred_multinom_s10_2class = predict(model_train_multinom_s10_2class, newdata=testing_s10_2class, type='prob') 

pred2_s10 <- prediction(pred_multinom_s10_2class[,1], as.numeric(as.character(y_s10))) 
perf2_s10 <- performance(pred2_s10, "tpr", "fpr") 
plot(perf2_s10,col='magenta',lwd=3) 

本当だ