私はセグメント化された私のディスク上の文書、私のVPSの9ギガバイトだけ4GBのメモリを持っている必要があり、大きなデータセット

Question

でベクトル化scikit-学びます。

はどのようにして、初期化時に、すべてのコーパスをロードせずに設定されているすべてのデータのベクトル化することができますか？サンプルコードはありますか？次のように

私のコードは次のとおりです。

contents = [open('./seg_corpus/' + filename).read() 
      for filename in filenames] 
vectorizer = CountVectorizer(stop_words=stop_words) 
vectorizer.fit(contents) 

Answer 1

ではなく、メモリにすべてのテキストをロードするだけfit方法にファイルを処理しますが、あなたはCountVectorizerコンストラクタでinput='file'を指定する必要がありますを渡すことができ、これを試してみてください。

contents = [open('./seg_corpus/' + filename) 
     for filename in filenames] 
vectorizer = CountVectorizer(stop_words=stop_words, input='file') 
vectorizer.fit(contents)