ランダムなデータの生成でランダムなデータが生成される

Question

私はCVでRを実装していましたが、LOOCVの折り返しの間に返された値に奇妙な問題が発生しました。

まず、データとラベルをランダムに生成します。次に、雑音だけでなく、ランダムフォレストに合わせます。返されたループから、私は良いAUCだけでなく、t検定からの有意なp値を得る。これが理論的にどのように起こっているのか理解できないので、データ/ラベルを生成しようとする方法が最善であるかどうか不思議でした。

ここに私の問題を示すコードスニペットがあります。

library(randomForest) 
library(pROC) 
n=30 
p=900 

set.seed(3) 
XX=matrix(rnorm(n*p, 0, 1) , nrow=n) 
YY=as.factor(sample(c('P', 'C'), n, replace=T)) 
resp = vector() 

for(i in 1:n){ 
    fit = randomForest(XX[-i,], YY[-i]) 
    pred = predict(fit, XX[i,], type = "prob")[2] 
    resp[i] <- pred 
} 

t.test(resp~YY)$p.value 

roc(YY, resp)$auc 

は、私は同じことになり、データのすべてのを生成する複数の方法を試してみました

XX=matrix(runif(n*p), nrow=n) 
XX=matrix(rnorm(n*p, 0, 1) , nrow=n) 

と

random_data=matrix(0, n, p) 
for(i in 1:n){ 
    random_data[i,]=jitter(runif(p), factor = 1, amount = 10) 
} 
XX=as.matrix(random_data) 

ランダムフォレストが私をリードし、このシナリオに関連した予測因子を見つけることですので、データが本当にランダムではない可能性があると信じています。データを生成する方法や、ランダムなラベルを生成する方法がありますか？これがRの問題である可能性はありますか？

Answer 1

これは部分的な答えです：あなたのroc関数呼び出しを変更して、AUC値の分布が0と1の間であることを確認しました。その後、20回走った。平均AUCおよびp値は、それぞれ0.73および0.12である。

library(ROCR) 
library(randomForest) 
library(pROC) 
n=30 
p=900 

pvs=vector() 
aucs=vector() 
for (j in seq(20)){ 
    XX=matrix(rnorm(n*p, 0, 1) , nrow=n) 
    YY=as.factor(sample(c('C', 'P'), n, replace=T)) 
    resp = vector() 
    for(i in 1:n){ 
     fit = randomForest(XX[-i,], YY[-i]) 
     pred = predict(fit, XX[i,], type = "prob")[2] 
     resp[i] <- pred 
    } 
    pvs[j]=t.test(resp~YY)$p.value 
    aucs[j]=roc(YY, resp, direction='>')$auc 
}