どのようにgensimでTaggedDocumentを使用しますか？

Question

私はそれらのテキストファイルを読み込み、それらにラベルを付ける2つのディレクトリがありますが、TaggedDocument経由でこれを行う方法がわかりません、TaggedDocument（[Strings]、[Labels]）として機能すると思っていましたが、明らかに仕事をしている。これは私のコードです：

from gensim import models 
from gensim.models.doc2vec import TaggedDocument 
import utilities as util 
import os 
from sklearn import svm 
from nltk.tokenize import sent_tokenize 
CogPath = "./FixedCog/" 
NotCogPath = "./FixedNotCog/" 
SamplePath ="./Sample/" 
docs = [] 
tags = [] 
CogList = [p for p in os.listdir(CogPath) if p.endswith('.txt')] 
NotCogList = [p for p in os.listdir(NotCogPath) if p.endswith('.txt')] 
SampleList = [p for p in os.listdir(SamplePath) if p.endswith('.txt')] 
for doc in CogList: 
    str = open(CogPath+doc,'r').read().decode("utf-8") 
    docs.append(str) 
    print docs 
    tags.append(doc) 
    print "###########" 
    print tags 
    print "!!!!!!!!!!!" 
for doc in NotCogList: 
    str = open(NotCogPath+doc,'r').read().decode("utf-8") 
    docs.append(str) 
    tags.append(doc) 
for doc in SampleList: 
    str = open(SamplePath + doc, 'r').read().decode("utf-8") 
    docs.append(str) 
    tags.append(doc) 

T = TaggedDocument(docs,tags) 

model = models.Doc2Vec(T,alpha=.025, min_alpha=.025, min_count=1,size=50) 

、これは私が取得エラーです：

Traceback (most recent call last): 
    File "/home/farhood/PycharmProjects/word2vec_prj/doc2vec.py", line 34, in <module> 
    model = models.Doc2Vec(T,alpha=.025, min_alpha=.025, min_count=1,size=50) 
    File "/home/farhood/anaconda2/lib/python2.7/site-packages/gensim/models/doc2vec.py", line 635, in __init__ 
    self.build_vocab(documents, trim_rule=trim_rule) 
    File "/home/farhood/anaconda2/lib/python2.7/site-packages/gensim/models/word2vec.py", line 544, in build_vocab 
    self.scan_vocab(sentences, progress_per=progress_per, trim_rule=trim_rule) # initial survey 
    File "/home/farhood/anaconda2/lib/python2.7/site-packages/gensim/models/doc2vec.py", line 674, in scan_vocab 
    if isinstance(document.words, string_types): 
AttributeError: 'list' object has no attribute 'words' 

Answer 1

だから私は少しだけ実験し、githubの上でこれを見つけた：

class TaggedDocument(namedtuple('TaggedDocument', 'words tags')): 
    """ 
    A single document, made up of `words` (a list of unicode string tokens) 
    and `tags` (a list of tokens). Tags may be one or more unicode string 
    tokens, but typical practice (which will also be most memory-efficient) is 
    for the tags list to include a unique integer id as the only tag. 

    Replaces "sentence as a list of words" from Word2Vec. 

ので、私はすることを決めました各ドキュメントのTaggedDocumentクラスを生成してTaggedDocument関数をどのように使用するかを変更してください。重要なのは、タグをリストとして渡す必要があることです。

for doc in CogList: 
    str = open(CogPath+doc,'r').read().decode("utf-8") 
    str_list = str.split() 
    T = TaggedDocument(str_list,[doc]) 
    docs.append(T)