Scikit Learn - データセットを使って作業する

Question

いくつかのstackoverflow質問を読んで、私が探していたものを見つけることができませんでした。少なくとも、私は様々な投稿を読むとは思わなかった。

トレーニングデータはhere のように設定されていますので、sklearn.datasets.load_filesを使用して、セットアップ時に完璧に一致しているため、これらのデータを読み取ります。

しかし、私のファイルはすでに単語の袋として（それぞれの行は単語であり、頻度カウントはタブで区切られています）、tsvです。

正直言って、私はどのように進むべきかわかりません。 load_filesによって取り込まれたデータは、各要素が新しい行の文字を含む各ファイルの内容であるリストとして設定されます。私はBunchデータ型がどのファイルがどの分類子フォルダに属しているかを100％確実に追跡しているわけでもありません。

以前はtsvsでscikit-learnを使っていましたが、すべてのデータを持つ単一のtsvファイルだったので、パンダを使って読み込み、numpy.arrayを使って必要なものを取り出しました。私がやろうとしていることの一つですが、私は以前に勉強した単一のtsvファイルのように、分類子がフォルダ名である複数のファイルでそれを行う方法がわかりません、トレーニングデータの各行は個別に

分類器の学習に使用できる形式にデータを取得する際の助けになります。

Answer 1

ファイルをループして読み取って辞書のリストを作成し、各辞書に各文書の機能と頻度を含めることができます。ファイル1.TXTを想定します

import codecs 
corpus = [] 
#make a loop over the files here and repeat the following 
f = codecs.open("1.txt", encoding='utf8').read().splitlines() 
corpus.append({line.split("\t")[0]:line.split("\t")[1] for line in f}) 
#exit the loop here 
from sklearn.feature_extraction import DictVectorizer 
vec=DictVectorizer() 
X=vec.fit_transform(measurements) 

あなたはDictVectorizer