学ぶscikit：カスタマイズされたCountVectorizerとカイ二乗

Question

を作成する問題は、私は（サンプルhereに基づいて）次のコードを持っているが、それは動作していない：

[...] 
def my_analyzer(s): 
    return s.split() 
my_vectorizer = CountVectorizer(analyzer=my_analyzer) 
X_train = my_vectorizer.fit_transform(traindata) 

ch2 = SelectKBest(chi2,k=1) 
X_train = ch2.fit_transform(X_train,Y_train) 
[...] 

fit_transformを呼び出すときに次のエラーが与えられます。

AttributeError: 'function' object has no attribute 'analyze' 

ドキュメントによると、CountVectorizerはvectorizer = CountVectorizer(tokenizer=my_tokenizer)のように作成する必要があります。しかし、私がそれを行うと、私は次のエラーを受け取ります："got an unexpected keyword argument 'tokenizer'"。

私の実際のscikit-learnバージョンは0.10です。

Answer 1

あなたは、ベクタライザがオーバーホールされた0.11（すぐにリリースされる予定）のドキュメントを見ています。 http://scikit-learn/stableがありながら、

class MyAnalyzer(object): 
    @staticmethod 
    def analyze(s): 
     return s.split() 

v = CountVectorizer(analyzer=MyAnalyzer()) 

http://scikit-learn.org/devが（随時変更される可能性があり）次期リリースのドキュメントです：何tokenizer引数がないdocumentation for 0.10、チェックしanalyzerはanalyzeメソッドを実装するオブジェクトでなければなりません現在の安定バージョンのドキュメント。