木のプロット方法RのrandomForestからのROC曲線？

Question

私はrandomForestがブラックボックスであることを知っており、ほとんどの人が分類器全体のROC曲線に興味があることを知っていますが、RFの個々のツリーを調べる必要があるという問題に取り組んでいます。私はRに慣れていないので、RFによって生成された個々のツリーのROC曲線をプロットする簡単な方法は何ですか？

Answer 1

randomForestパッケージで生成されたランダムなフォレストの1つのツリーからROC曲線を生成することはできません。各ツリーの出力には、トレーニングセットなどの予測からアクセスできます。

# caret for an example data set 
library(caret) 
library(randomForest) 

data(GermanCredit) 

# use only 50 rows for demonstration 
nrows = 50 

# extract the first 9 columns and 50 rows as training data (column 10 is "Class", the target) 
x = GermanCredit[1:nrows, 1:9] 
y = GermanCredit$Class[1:nrows] 

# build the model 
rf_model = randomForest(x = x, y = y, ntree = 11) 

# Compute the prediction over the training data. Note predict.all = TRUE 
rf_pred = predict(rf_model, newdata = x, predict.all = TRUE, type = "prob") 

あなたは

rf_pred$individual 

で各ツリーの予測にアクセスすることができますしかし、単一のツリーの予測は、最も可能性の高いラベルです。 ROC曲線の場合、クラスの確率が必要です。そのため、決定しきい値を変更すると、予測されるクラスが偽陽性率を変えるようになります。

私が言う限り、少なくともrandomForestのパッケージでは、ラベルの代わりに出力の確率を出力する方法はありません。 getTree（）でツリーを調べると、予測はバイナリであることがわかります。 getTree（rf_model、k = 1、labelVar = TRUE）を使用すると、ラベルがプレーンテキストで表示されます。

ただし、predict.all = TRUEで個々の予測を取得してから、フォレスト全体のサブセットでクラスラベルを手動で計算することができます。これで、ROCRパッケージのようなROC曲線を計算する関数に入力することができます。

編集：あなたのコメントにあなたが提供したリンクから、私はROC曲線がどのように得られるかを知っています。まず、特定の1つのツリーを抽出し、ツリー内に各データポイントを入力して、各ノードの成功クラスの出現数と各ノードの合計データポイントをカウントする必要があります。比率は成功クラスのノード確率を与える。次に、同様のことを行います。つまり、各データポイントをツリーに入力しますが、今度は確率を記録します。このようにして、クラスのprobsを真のラベルと比較することができます。 コードは次のとおりです。

# libraries we need 
library(randomForest) 
library(ROCR) 

# Set fixed seed for reproducibility 
set.seed(54321) 

# Define function to read out output node of a tree for a given data point 
travelTree = function(tree, data_row) { 
    node = 1 
    while (tree[node, "status"] != -1) { 
     split_value = data_row[, tree[node, "split var"]] 
     if (tree[node, "split point"] > split_value) { 
      node = tree[node, "right daughter"] 
     } else { 
      node = tree[node, "left daughter"] 
     } 
    } 
    return(node) 
} 

# define number of data rows 
nrows = 100 
ntree = 11 

# load example data 
data(GermanCredit) 

# Easier access of variables 
x = GermanCredit[1:nrows, 1:9] 
y = GermanCredit$Class[1:nrows] 

# Build RF model 
rf_model = randomForest(x = x, y = y, ntree = ntree, nodesize = 10) 

# Extract single tree and add variables we need to compute class probs 
single_tree = getTree(rf_model, k = 2, labelVar = TRUE) 
single_tree$"split var" = as.character(single_tree$"split var") 
single_tree$sum_good = 0 
single_tree$sum = 0 
single_tree$pred_prob = 0 


for (zeile in 1:nrow(x)) { 
    out_node = travelTree(single_tree, x[zeile, ]) 
    single_tree$sum_good[out_node] = single_tree$sum_good[out_node] + (y[zeile] == "Good") 
    single_tree$sum[out_node] = single_tree$sum[out_node] + 1 
} 

# Compute class probabilities from count of "Good" data points in each node. 
# Make sure we do not divide by zero 
idcs = single_tree$sum != 0 
single_tree$pred_prob[idcs] = single_tree$sum_good[idcs]/ single_tree$sum[idcs] 

# Compute prediction by inserting again data set into tree, but read out 
# previously computed probs 

single_tree_pred = rep(0, nrow(x)) 

for (zeile in 1:nrow(x)) { 
    out_node = travelTree(single_tree, x[zeile, ]) 
    single_tree_pred[zeile] = single_tree$pred_prob[out_node] 
} 

# Et voila: The ROC curve for single tree! 
plot(performance(prediction(single_tree_pred, y), "tpr", "fpr"))