保存された単語リストからのみtext2vectorで文書用語行列を生成する方法

Question

テキストをベクトル化して指定された単語リストのみでdtmを達成する構文は何ですか？

指定されたフィーチャに対してのみドキュメント用語行列をベクトル化して生成する方法はありますか？また、機能がテキストに表示されない場合、変数は空のままでなければなりません。

私はモデリングを実行するdtmとまったく同じ列を持つ用語文書行列を生成する必要があります。そうでなければ、新しい文書にランダムなフォレストモデルを使用できません。 - それが良い動作しません2）を実行私は1にはお勧めしません。しかし

v = create_vocabulary(c("word1", "word2")) 
vectorizer = vocab_vectorizer(v) 
dtm_test = create_dtm(it, vectorizer) 

）は、このようなスパースデータのランダムフォレストを使用します。

Answer 1

あなただけの機能の特定のセットからドキュメントの用語行列を作成することができますあなたが説明した機能の選択方法 - あなたはおそらくオーバーフィットです。

Answer 2

私はモデリングを実行するdtmとまったく同じ列を持つ用語文書行列を生成する必要があります。そうでなければ、新しい文書にランダムなフォレストモデルを使用できません。 quantedaで

あなたはdfm_select()を使用してトレーニングセットのものと同一のテストセットの機能を設定することができます。機能コンテキストマトリックスについては

txts <- c("a b c d", "a a b b", "b c c d e f") 

(dfm1 <- dfm(txts[1:2])) 
## Document-feature matrix of: 2 documents, 4 features (25% sparse). 
## 2 x 4 sparse Matrix of class "dfmSparse" 
##  features 
## docs a b c d 
## text1 1 1 1 1 
## text2 2 2 0 0 
(dfm2 <- dfm(txts[2:3])) 
## Document-feature matrix of: 2 documents, 6 features (41.7% sparse). 
## 2 x 6 sparse Matrix of class "dfmSparse" 
##  features 
## docs a b c d e f 
## text1 2 2 0 0 0 0 
## text2 0 1 2 1 1 1 

dfm_select(dfm1, dfm2, valuetype = "fixed", verbose = TRUE) 
## kept 4 features, padded 2 features 
## Document-feature matrix of: 2 documents, 6 features (50% sparse). 
## 2 x 6 sparse Matrix of class "dfmSparse" 
##  features 
## docs a b c d e f 
## text1 1 1 1 1 0 0 
## text2 2 2 0 0 0 0 

をしかし、これは共起（少なくともそれらのために動作しません（何text2vec入力用ニーズ）：たとえば、以下のdfm1はdfm2と同一の機能を持たせますドキュメントコンテキストではなくウィンドウで計算される）は、フィーチャ間で相互依存しているため、同じ方法で単純に追加および削除することはできません。