NLTKクラシファイアオブジェクト

Question

データセット全体のクラシファイアをトレーニングするときにメモリエラーが発生するため、データセットを小さな部分に分け、個々のクラシファイアオブジェクトをそれぞれトレーニングします。

私はこれらの個々のクラシファイアオブジェクトの組み合わせが必要です。では、どうやってそれをすることができますか？ pickleファイルにオブジェクトを格納することはできますが、再び個々のオブジェクトのみになります。

私はNLTKを使用しています。

コード：

documents = [(list(movie_reviews.words(fileid)), category) 
     for category in movie_reviews.categories() 
     for fileid in movie_reviews.fileids(category)] 

all_words = [] 
for w in movie_reviews.words(): 
    all_words.append(w.lower()) 
all_words = nltk.FreqDist(all_words) 
word_features = list(all_words.keys())[:3000] 

def find_features(document): 
    words = set(document) 
    features = {} 
    for w in word_features: 
     features[w] = (w in words) 
    return features 



#print((find_features(movie_reviews.words('neg/cv000_29416.txt')))) 
featuresets = [(find_features(rev), category) for (rev, category) in documents] 
numtrain = int(len(documents) * 90/100) 
training_set = featuresets[:numtrain] 
testing_set = featuresets[numtrain:] 

classifier = nltk.NaiveBayesClassifier.train(training_set) 

Answer 1

分類器が訓練するので、あなたは（testing_set上の）正しい予測やテストを行うことができるようにするために、全体のデータセット（コード内training_set）で訓練する必要があります

データセットの一部を持つ複数の分類子が機能しません。少なくとも、最適な解決策ではありません。私は、次のことを示唆している：多分

あなたのコード/データを最適化しようと：

1. メモリエラーを解決しようとする（http://gisgeek.blogspot.gr/2012/01/set-32bit-executable-largeaddressaware.htmlあなたは窓やPythonで実行されている場合は32ビット、このを見てみましょう）少ないフィーチャを使用するか、より多くのスペース/メモリ効率の良い方法で表現できます。

2. 1と2がうまくいかず、多くのクラシファイアオブジェクトを1つに結合したい場合（ただし、その予測に基づいてのみ）、アンサンブルメソッドを試すことができますが、これはあなたのあなたが直面している問題を解決しようとしていません。いずれにせよ、ここでMaxVote分類器の一例です： https://bitbucket.org/roadrunner_team/large-scale-sentiment-analysis/src/a06d51ef42325293f0296270ca975341c847ab9f/SentimentAnalysis/FigurativeTextAnalysis/models/Classifier_.py?at=master&fileviewer=file-view-default

   class MaxVoteClassifier(object): 
       """ 
        Takes as input a list of pre-trained classifiers and calculates the Frequency Distribution of their predictions 
       """ 
       def __init__(self, classifiers): 
        self._classifiers = classifiers 
        self.predictions = None 
   
       def classify(self, tweet_fea): 
        counts = FreqDist() 
        for classifier in self._classifiers: 
         classifier.set_x_trial([tweet_fea]) 
         counts[classifier.predict()[0]] += 1 
   
        return counts.max()