GridSearchCV.fit（）はTypeErrorを返します：予想されるシーケンスまたは配列のようなもの、見積もりを受け取りました

Question

私は、PythonでBuilding Machine Learning Systemsの第6章を読んで、ツイッターデータの感情分析をしようとしています。

私は、データセットを使用しています：https://raw.githubusercontent.com/zfz/twitter_corpus/master/full-corpus.csv

それは推定量としてTFIDFのベクトル化と単純ベイズ分類器のパイプラインを使用しています。

次に、見積もりに最適なパラメータを見つけるためにGridSearchCV（）を使用しています。次のように

コードは次のとおり

from load_data import load_data 
from sklearn.cross_validation import ShuffleSplit 
from sklearn.grid_search import GridSearchCV 
from sklearn.metrics import f1_score 
from sklearn.naive_bayes import MultinomialNB 
from sklearn.feature_extraction.text import TfidfVectorizer 
from sklearn.pipeline import Pipeline 

def pipeline_tfidf_nb(): 
    tfidf_vect = TfidfVectorizer(analyzer = "word") 
    naive_bayes_clf = MultinomialNB() 
    return Pipeline([('vect', tfidf_vect),('nbclf',naive_bayes_clf)]) 

input_file = "full-corpus.csv" 
X,y = load_data(input_file) 
print X.shape,y.shape 

clf = pipeline_tfidf_nb() 
cv = ShuffleSplit(n = len(X), test_size = .3, n_iter = 1, random_state = 0) 

clf_param_grid = dict(vect__ngram_range = [(1,1),(1,2),(1,3)], 
        vect__min_df = [1,2], 
        vect__smooth_idf = [False, True], 
        vect__use_idf = [False, True], 
        vect__sublinear_tf = [False, True], 
        vect__binary = [False, True], 
        nbclf__alpha = [0, 0.01, 0.05, 0.1, 0.5, 1], 
       ) 

grid_search = GridSearchCV(estimator = clf, param_grid = clf_param_grid, cv = cv, scoring = f1_score) 
grid_search.fit(X, y) 

print grid_search.best_estimator_ 

LOAD_DATA（）は、正または負の感情を持つCSVファイルから値を抽出します。

Xは文字列（TweetText）の配列で、yはbool値の配列です（肯定的な感情の場合はTrue）。私はyのXを再形成しようとした

runfile('C:/Users/saurabh.s1/Downloads/Python_ml/ch6/main.py', wdir='C:/Users/saurabh.s1/Downloads/Python_ml/ch6') 
Reloaded modules: load_data 
negative : 572 
positive : 519 
(1091,) (1091,) 
Traceback (most recent call last): 

    File "<ipython-input-25-823b07c4ff26>", line 1, in <module> 
    runfile('C:/Users/saurabh.s1/Downloads/Python_ml/ch6/main.py', wdir='C:/Users/saurabh.s1/Downloads/Python_ml/ch6') 

    File "C:\anaconda2\lib\site-packages\spyder\utils\site\sitecustomize.py", line 866, in runfile 
    execfile(filename, namespace) 

    File "C:\anaconda2\lib\site-packages\spyder\utils\site\sitecustomize.py", line 87, in execfile 
    exec(compile(scripttext, filename, 'exec'), glob, loc) 

    File "C:/Users/saurabh.s1/Downloads/Python_ml/ch6/main.py", line 31, in <module> 
    grid_search.fit(X, y) 

    File "C:\anaconda2\lib\site-packages\sklearn\grid_search.py", line 804, in fit 
    return self._fit(X, y, ParameterGrid(self.param_grid)) 

    File "C:\anaconda2\lib\site-packages\sklearn\grid_search.py", line 553, in _fit 
    for parameters in parameter_iterable 

    File "C:\anaconda2\lib\site-packages\sklearn\externals\joblib\parallel.py", line 800, in __call__ 
    while self.dispatch_one_batch(iterator): 

    File "C:\anaconda2\lib\site-packages\sklearn\externals\joblib\parallel.py", line 658, in dispatch_one_batch 
    self._dispatch(tasks) 

    File "C:\anaconda2\lib\site-packages\sklearn\externals\joblib\parallel.py", line 566, in _dispatch 
    job = ImmediateComputeBatch(batch) 

    File "C:\anaconda2\lib\site-packages\sklearn\externals\joblib\parallel.py", line 180, in __init__ 
    self.results = batch() 

    File "C:\anaconda2\lib\site-packages\sklearn\externals\joblib\parallel.py", line 72, in __call__ 
    return [func(*args, **kwargs) for func, args, kwargs in self.items] 

    File "C:\anaconda2\lib\site-packages\sklearn\cross_validation.py", line 1550, in _fit_and_score 
    test_score = _score(estimator, X_test, y_test, scorer) 

    File "C:\anaconda2\lib\site-packages\sklearn\cross_validation.py", line 1606, in _score 
    score = scorer(estimator, X_test, y_test) 

    File "C:\anaconda2\lib\site-packages\sklearn\metrics\classification.py", line 639, in f1_score 
    sample_weight=sample_weight) 

    File "C:\anaconda2\lib\site-packages\sklearn\metrics\classification.py", line 756, in fbeta_score 
    sample_weight=sample_weight) 

    File "C:\anaconda2\lib\site-packages\sklearn\metrics\classification.py", line 956, in precision_recall_fscore_support 
    y_type, y_true, y_pred = _check_targets(y_true, y_pred) 

    File "C:\anaconda2\lib\site-packages\sklearn\metrics\classification.py", line 72, in _check_targets 
    check_consistent_length(y_true, y_pred) 

    File "C:\anaconda2\lib\site-packages\sklearn\utils\validation.py", line 173, in check_consistent_length 
    uniques = np.unique([_num_samples(X) for X in arrays if X is not None]) 

    File "C:\anaconda2\lib\site-packages\sklearn\utils\validation.py", line 112, in _num_samples 
    'estimator %s' % x) 

TypeError: Expected sequence or array-like, got estimator Pipeline(steps=[('vect', TfidfVectorizer(analyzer='word', binary=False, decode_error=u'strict', 
     dtype=<type 'numpy.int64'>, encoding=u'utf-8', input=u'content', 
     lowercase=True, max_df=1.0, max_features=None, min_df=1, 
     ngram_range=(1, 1), norm=u'l2', preprocessor=None, 
     smooth_i...e_idf=False, vocabulary=None)), ('nbclf', MultinomialNB(alpha=0, class_prior=None, fit_prior=True))]) 

が、それは動作していない：

エラーです。

さらにデータが必要な場合や、私が何か不足している場合はお知らせください。

ありがとうございます！

Answer 1

このエラーは、scoring=f1_scoreをGridSearchCVコンストラクタに使用して間違ったパラメータを渡しているためです。 documentation of GridSearchCVをご覧ください。スコアリングのparamで

、それがために尋ねる：

A string (see model evaluation documentation) or a scorer callable object/function with signature scorer(estimator, X, y). If None, the score method of the estimator is used.

あなたは間違っている署名(y_true, y_pred[, ...])で呼び出し可能な機能を渡しています。それはなぜあなたがエラーを取得しているのですか？ スコアリングを渡すにはstring as defined hereを使用するか、(estimator, X, y)という署名付き呼び出し可能コードを渡す必要があります。これは、make_scorerを使用して行うことができます。

変更し、あなたのコードでこの行：これまで

grid_search = GridSearchCV(estimator = clf, param_grid = clf_param_grid, 
          cv = cv, scoring = f1_score) 

：

私は問題 in this answer here

の同じタイプのために答えている

grid_search = GridSearchCV(estimator = clf, param_grid = clf_param_grid, 
          cv = cv, scoring = 'f1') 

       OR 

grid_search = GridSearchCV(estimator = clf, param_grid = clf_param_grid, 
          cv = cv, scoring = make_scorer(f1_score))