私はdoc2vecでフレーズを使いたいと思います。私はgensim.phrasesを使います。 doc2vecでは、モデルを訓練するためにタグ付きドキュメントが必要です。フレーズにタグを付けることはできません。どのように私はこれを行うことができますか?ここフレーズでdoc2vecを使用するには?
は私のコード
text = phrases.Phrases(text)
for i in range(len(text)):
string1 = "SENT_" + str(i)
sentence = doc2vec.LabeledSentence(tags=string1, words=text[i])
text[i]=sentence
print "Training model..."
model = Doc2Vec(text, workers=num_workers, \
size=num_features, min_count = min_word_count, \
window = context, sample = downsampling)
あなたの答えに感謝します。この場合、TaggedDocumentの代わりに "LabeledSentence"を使用すると違いはありません。私の問題はどこでどのようにdoc2vecでフレーズを使用するのですか? –
Doc2Vecでフレーズを使用することについて特別なことは何もありません。いくつかの単語対を 'word_pairs'を組み合わせて変更するだけの前処理です。ですから、Doc2Vecの面を無視し、既存のコードで指摘した特定のエラーを避け、gensimのドキュメントの例で行われているようにしてください。 – gojomo
私はあなたが言ったエラーを解決しますが、主な問題は 'LabeledSententces'の出力は' Phrases'の入力としては機能しません。だから、私は 'LabeledSentenses'でフレーズを構築することはできません。 'LabeledSentences'がフレーズにタグを付けることができないので、このプロセスの逆もできません! –