新しい（テスト）データを使用して同じDocumentTermMatrixを再作成する方法

Question

テキストベースのトレーニングデータとテストデータがあるとします。具体的には、トレーニングとテストという2つのデータセットがあり、どちらもテキストを含む1つの列を持ち、手元にある仕事のために興味があります。

Rでtmパッケージを使用して、トレーニングデータセットのテキスト列を処理しました。空白、句読点、およびストップワードを削除した後、私はコーパスを抹消し、最終的に各文書の単語の頻度/カウントを含む1グラムの文書用語行列を作成しました。次に、例えば50という所定のカットオフをとり、50を超える数の用語を保持した。

これに続いて、DTMと依存関係を使用してGLMNETモデルを訓練する変数（これはトレーニングデータに含まれていました）。すべてが今まで滑らかで簡単に実行されます。

ただし、テストデータや将来新しくなる可能性のあるデータでモデルをスコアリング/予測するにはどうすればよいですか？

具体的には、私が見つけようとしているのは、新しいデータに正確なDTMを作成する方法です。

新しいデータセットに元のトレーニングデータと類似の単語が含まれていない場合は、すべての用語のカウントがゼロになる必要があります（これは問題ありません）。しかし、私は、新しいコーパス上で全く同じDTM（構造に関して）を複製できるようにしたいと考えています。

アイデアやアイデアはありますか？

Answer 1

私が正しく理解していれば、dtmを作成しました。最初のdtmと同じ列（つまり用語）を持つ新しい文書から新しいdtmを作成したいとします。そのような場合、それは、このようなサブ設定おそらく、最初の条項により、第2のDTMを何かの問題である必要があります。

は、まず、いくつかの再現性のあるデータを設定...

これはあなたですトレーニングデータ...

library(tm) 
# make corpus for text mining (data comes from package, for reproducibility) 
data("crude") 
corpus1 <- Corpus(VectorSource(crude[1:10]))  
# process text (your methods may differ) 
skipWords <- function(x) removeWords(x, stopwords("english")) 
funcs <- list(tolower, removePunctuation, removeNumbers, 
       stripWhitespace, skipWords) 
crude1 <- tm_map(corpus1, FUN = tm_reduce, tmFuns = funcs) 
crude1.dtm <- DocumentTermMatrix(crude1, control = list(wordLengths = c(3,10))) 

そして、これはあなたの試験データである...

corpus2 <- Corpus(VectorSource(crude[15:20])) 
# process text (your methods may differ) 
skipWords <- function(x) removeWords(x, stopwords("english")) 
funcs <- list(tolower, removePunctuation, removeNumbers, 
       stripWhitespace, skipWords) 
crude2 <- tm_map(corpus2, FUN = tm_reduce, tmFuns = funcs) 
crude2.dtm <- DocumentTermMatrix(crude2, control = list(wordLengths = c(3,10))) 

ここでは何をしたいんビットです：

今、私たちは学習データに存在している試験データの唯一の用語を保つ...

# convert to matrices for subsetting 
crude1.dtm.mat <- as.matrix(crude1.dtm) # training 
crude2.dtm.mat <- as.matrix(crude2.dtm) # testing 

# subset testing data by colnames (ie. terms) or training data 
xx <- data.frame(crude2.dtm.mat[,intersect(colnames(crude2.dtm.mat), 
              colnames(crude1.dtm.mat))]) 

は最後にある学習データ中の用語のための試験データへのすべての空の列を追加しますない試験データで...

# make an empty data frame with the colnames of the training data 
yy <- read.table(textConnection(""), col.names = colnames(crude1.dtm.mat), 
       colClasses = "integer") 

# add incols of NAs for terms absent in the 
# testing data but present # in the training data 
# following SchaunW's suggestion in the comments above 
library(plyr) 
zz <- rbind.fill(xx, yy) 

のでzzは、テストドキュメントのデータフレームですが、トレーニング文書（つまり、同じ構造を有しています。 SchaunWが指摘するように、それらの多くにはNAが含まれています）。

あなたが望む線に沿っているのですか？

Answer 2

tmには非常に多くの落とし穴があります...さらに効率的なtext2vecとvectorization vignetteを参照してください。私が正しくあなたの質問を理解している場合

crude2.dtm <- DocumentTermMatrix(crude2, control = list 
       (dictionary=Terms(crude1.dtm), wordLengths = c(3,10)))