まず、train_test_splitを実行してからクロスバリデーションを使用する必要がありますか？

Question

クロスバリデーション（KFold）を使用する予定がある場合でも、データセットをトレーニングデータとテストデータに分割し、トレーニングセットでのみトレーニング（クロスバリデーションを含む）を実行する必要がありますか？それとも、CVが私のためにすべてを行いますか？例えば。

オプション1

X_train, X_test, y_train, y_test = train_test_split(X,y) 
clf = GridSearchCV(... cv=5) 
clf.fit(X_train, y_train) 

オプション2

clf = GridSearchCV(... cv=5) 
clf.fit(X y) 

Answer 1

CVは良いですが、それはそのままデータ上の独立したスコアの推定を提供するために、電車/テスト・スプリットを持っている方が良いでしょう。 CVとテストデータに同じスコアが表示されている場合は、列車/テストの分割フェーズとCVをデータ全体にドロップして、わずかに優れたモデルスコアを得ることができます。しかし、あなたのスプリットとCVスコアが一貫していることを確かめる前にそれをしないでください。