Gensim word2vecオンライントレーニング

Question

次のように私は、CSVファイルの文章を使ってgensimでword2vecモデルを訓練しています：

import string 
import gensim 
import csv 
import nltk 

path = '/home/neel/Desktop/csci544_proj/test/sample.csv' 
translator = str.maketrans({key: None for key in string.punctuation}) 

class gen(object): 

    def __init__(self, path): 
     self.path = path 

    def __iter__(self): 
     with open(path) as infile: 
      reader = csv.reader(infile) 
      for row in reader: 
       rev = row[4] 
       l = nltk.sent_tokenize(rev) 
       for sent in l: 
        sent = sent.translate(translator) 
        yield sent.lower().split() 

sentences = [path] 
for p in gen(path): 
    model = gensim.models.Word2Vec(p, min_count=1, iter=1) 

print(model.vocab.keys()) 

私は次のような結果を得る： （[ 'B'、 'U'、「Mを'' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' ' 'l']）

私が得る結果は言葉ではなく文字です。プログラムはどこが間違っていますか？

Answer 1

は、私はあなたのコード修正

import string 
import gensim 
import csv 
import nltk 

path = '/home/neel/Desktop/csci544_proj/test/sample.csv' 
translator = str.maketrans({key: None for key in string.punctuation}) 

class Generator(object): 
    def __init__(self, pathes): 
     self.pathes = pathes 

    def __iter__(self): 
     for path in self.pathes: 
      with open(path) as infile: 
       for row in csv.reader(infile): 
        for sent in nltk.sent_tokenize(row[4]): 
         yield sent.translate(translator).lower().split() 


corpus = Generator([path]) 
model = gensim.models.Word2Vec(min_count=1, iter=1) 
model.build_vocab(corpus) 
model.train(corpus, total_examples=model.corpus_count, epochs=2) 
model.wv.vocab.keys() 

あなたが得るdict_keys(['wassup', 'where', 'fresh', 'new', 'about', 'juice', 'whats', 'are', 'im', 'hello', 'wtf', 'd', 'hi', 'you', 'world', 'bro', 'friend'])

の