Python tf-idf：tf-idf行列を素早く更新する

Question

私は数千のテキスト行のデータセットを持っています。私の目標はtfidfスコアを計算し、文書間の類似性をコサインすることです。これはgensimチュートリアルに続くPythonで：

dictionary = corpora.Dictionary(dat) 
corpus = [dictionary.doc2bow(text) for text in dat] 

tfidf = models.TfidfModel(corpus) 
corpus_tfidf = tfidf[corpus] 
index = similarities.MatrixSimilarity(corpus_tfidf) 

のは、我々は新しいドキュメントが登場するときに我々は、構築されたTFIDFマトリックスと類似性があるとしましょうと、私は、当社の既存のデータセット内の最も類似した文書を照会します。

質問：tf-idf行列を更新して、新しいテキスト文書を元のデータセットに追加して、すべてを再計算する必要がないようにする方法はありますか？

Answer 1

他の回答がないので私の解決策を掲載します。我々は次のような状況にあるとしましょう：

import gensim 
from gensim import models 
from gensim import corpora 
from gensim import similarities 
from nltk.tokenize import word_tokenize 
import pandas as pd 

# routines: 
text = "I work on natural language processing and I want to figure out how does gensim work" 
text2 = "I love computer science and I code in Python" 
dat = pd.Series([text,text2]) 
dat = dat.apply(lambda x: str(x).lower()) 
dat = dat.apply(lambda x: word_tokenize(x)) 


dictionary = corpora.Dictionary(dat) 
corpus = [dictionary.doc2bow(doc) for doc in dat] 
tfidf = models.TfidfModel(corpus) 
corpus_tfidf = tfidf[corpus] 


#Query: 
query_text = "I love icecream and gensim" 
query_text = query_text.lower() 
query_text = word_tokenize(query_text) 
vec_bow = dictionary.doc2bow(query_text) 
vec_tfidf = tfidf[vec_bow] 

我々が見れば：

print(vec_bow) 
[(0, 1), (7, 1), (12, 1), (15, 1)] 

と：FYI

print(tfidf[vec_bow]) 
[(12, 0.7071067811865475), (15, 0.7071067811865475)] 

idとDOC：

print(dictionary.items()) 

[(0, u'and'), 
(1, u'on'), 
(8, u'processing'), 
(3, u'natural'), 
(4, u'figure'), 
(5, u'language'), 
(9, u'how'), 
(7, u'i'), 
(14, u'code'), 
(19, u'in'), 
(2, u'work'), 
(16, u'python'), 
(6, u'to'), 
(10, u'does'), 
(11, u'want'), 
(17, u'science'), 
(15, u'love'), 
(18, u'computer'), 
(12, u'gensim'), 
(13, u'out')] 

ルックスクエリのように既存の用語を集めてあらかじめ計算された重みを使用してtfidfスコアを与えます。したがって、私の回避策は、モデルを毎週または毎日再構築することです。