データフレーム（DTM）をデータフレームに変換する（Rプログラミング）

Question

私はRプログラミング言語の初心者で、現在はプロジェクトで作業しています。 巨大なDocument Term Matrix（DTM）があり、それをデータフレームに変換したいと思います。 しかし、機能の制限のために、私はそうすることができません。

私が使ってきた方法は、まずそれを行列に変換して、それをデータフレームに変換することです。

DF <- data.frame(as.matrix(DTM), stringsAsFactors=FALSE) 

これは、より小さなサイズのDTMで完全に機能していました。しかし、DTMは、私は、以下のようにエラーをもたらす、マトリックスに変換することはできませんよ、大きすぎる場合：

Error: cannot allocate vector of size 2409.3 Gb

は、私は解決策を見つけることができないのですが、数日間のオンライン探してみました。 誰かがDTMをDFに変換する最良の方法を提案できれば本当に感謝します（特に大型DTMを扱う場合）。

Answer 1

data.frame(as.matrix(DTM), stringsAsFactors=False)の代わりにas.data.frame(as.matrix(DTM), stringsAsFactors=False)がこのトリックを行う可能性があります。

APIドキュメントでは、as.data.frame()は単純にマトリックスをデータフレームに強制しますが、data.frame()は入力から新しいデータフレームを作成することに注意してください。

as.data.frame(...) - >https://stat.ethz.ch/R-manual/R-devel/library/base/html/as.data.frame.html

data.frame(...) - tidytext packageで>https://stat.ethz.ch/R-manual/R-devel/library/base/html/data.frame.html

Answer 2

ちょうどそれを行うための機能が実際にそこにあります。チーフル（基本的にはきれいに印刷される派手なデータフレーム）を返すtidy関数を使用してみてください。きちんとした機能についての素晴らしい点は、文字列を要素に変換しないことによって厄介なStringsAsFactors=FALSEの問題を処理し、DTMの希薄さにうまく対処することです。

as.matrixは、その文書内で用語が0回発生しても、すべての文書と用語に対してエントリを持つ非疎行列に変換しようとしています。 tidy`はそれをデータフレームに変換します。各データフレームには、各文書に含まれる用語のカウントしかありません。ここにあなたの例では

あなたは

library(tidytext) 
DF <- tidy(DTM) 

（tidyverseで作業するためのもの）tidytextパッケージhereを使用する方法についても、ビネットがありますを実行すると思います。