big.matrix as data.frame in R

Question

最近データ分析にRを使い始めました。今では、大きなクエリデータセット（ASCIIモードでは1GB〜バイナリモードではラップトップの4GB RAM以上）のランキングに問題があります。エラー原因とnice溶液は、このデータセットのbigmemory::big.matrixある用いるが、gbm()又はrandomForest()アルゴリズムにおいて、そのような行列M '' を提供する：

cannot coerce class 'structure("big.matrix", package = "bigmemory")' into a data.frame 

クラス（M）はfolowingを出力：

[1] "big.matrix" 
attr(,"package") 
[1] "bigmemory" 

これらのアルゴリズムにbig.matrixインスタンスを正しく渡す方法はありますか？

Answer 1

私は明らかにあなたの規模のこの使用してデータをテストすることはできませんが、私は、各関数の式インタフェースを使用してエラーを再現できます

require(bigmemory) 
m <- matrix(sample(0:1,5000,replace = TRUE),1000,5) 
colnames(m) <- paste("V",1:5,sep = "") 

bm <- as.big.matrix(m,type = "integer") 

require(gbm) 
require(randomForest) 

#Throws error you describe 
rs <- randomForest(V1~.,data = bm) 
#Runs without error (with a warning about the response only having two values) 
rs <- randomForest(x = bm[,-1],y = bm[,1]) 

#Throws error you describe 
rs <- gbm(V1~.,data = bm) 
#Runs without error 
rs <- gbm.fit(x = bm[,-1],y = bm[,1]) 

randomForestための式インタフェースを使用しないと、かなり一般的なアドバイスです大きなデータセットの場合。非常に非効率的である可能性があります。 ?gbmと読んだ場合は、大きなデータの場合はgbm.fitに向けて同様の推奨事項が表示されます。

Answer 2

数値オブジェクトが占めるメモリがディスク領域を超える場合がよくあります。ベクトルまたは行列の各 "double"要素は8バイトをとります。オブジェクトをdata.frameに強制するときは、RAMにコピーする必要があります。 bigmemory/big ***スイートパッケージでサポートされていない関数やデータ構造を使用しようとしないでください。 "biglm"は利用可能ですが、gbm（）やrandomForest（）が "big"ファミリの施設を認識して使用するとは思っていません。