Rテキスト2vecのテキストコーパスに文書の枝刈りの効果をプロットする

Question

text2vecパッケージにprune_vocabularyを適用した後にコーパスに残っている文書の数を確認することはできますか？ここで

は

library(text2vec) 
library(data.table) 
library(tm) 

#Load movie review dataset 
data("movie_review") 
setDT(movie_review) 
setkey(movie_review, id) 
set.seed(2016L) 

#Tokenize 
prep_fun = tolower 
tok_fun = word_tokenizer 
it_train = itoken(movie_review$review, 
       preprocessor = prep_fun, 
       tokenizer = tok_fun, 
       ids = movie_review$id, 
       progressbar = FALSE) 


#Generate vocabulary 
vocab = create_vocabulary(it_train 
         , stopwords = tm::stopwords()) 

#Prune vocabulary 
#How do I ascertain how many documents got kicked out of my training set because of the pruning criteria? 
pruned_vocab = prune_vocabulary(vocab, 
          term_count_min = 10, 
          doc_proportion_max = 0.5, 
          doc_proportion_min = 0.001) 

# create document term matrix with new pruned vocabulary vectorizer 
vectorizer = vocab_vectorizer(pruned_vocab) 
dtm_train = create_dtm(it_train, vectorizer) 

にし、剪定語彙データセットを取得するための一例であるterm_count_minとdoc_proportion_minパラメータは私のテキストコーパスにされているか、積極的な理解するための簡単な方法があります。

Answer 1

vocab $vocabがあなたのコーパスに関する統計情報が多く含まdata.tableです：私はstmパッケージは私たちがこのようなプロットを生成plotRemoved機能を使って、これを処理することができますどのように似た何かをしようとしています。 prune_vocabularyとterm_count_min、doc_proportion_minのパラメータはこれを単にフィルタリングしますdata.tableです。 colMeans(), colSums(), rowMeans(), rowSums()、など私は：あなたは別のボキャブラリで文書長期行列を作成し、Matrixパッケージから機能を持つ別の統計情報を確認することができ、他の側では

total_tokens = sum(v$vocab$terms_counts) 
total_tokens 
# 1230342 
# now lets prune 
v2 = prune_vocabulary(v, term_count_min = 10) 
total_tokens - sum(v2$vocab$terms_counts) 
# 78037 
# effectively this will remove 78037 tokens 

：たとえば、ここで削除したトークンの数を計算することができる方法であります上記のメトリックを取得できることを確認してください。例えば

ここで、空のドキュメントを検索する方法である：

doc_word_count = Matrix::rowSums(dtm) 
indices_empty_docs = which(doc_word_count == 0)