ロジスティック回帰Python

Question

私は分類問題のロジスティック回帰を実装しようとしてきましたが、それは私に本当に奇妙な結果を与えています。グラデーションブースティングとランダムフォレストでうまくいった結果が得られましたので、ベーシックになると思って何ができるかを見てみました。私が間違って何をしているのかを教えてもらえますか？ あなたはここに https://www.kaggle.com/c/santander-customer-satisfaction/data

からデータを取得することができます私のコードです：

import pandas as pd 
import numpy as np 
train = pd.read_csv("path") 
test = pd.read_csv("path") 
test["TARGET"] = 0 
fullData = pd.concat([train,test], ignore_index = True) 

remove1 = [] 
for col in fullData.columns: 
if fullData[col].std() == 0: 
    remove1.append(col) 

fullData.drop(remove1, axis=1, inplace=True) 
import numpy as np 
remove = [] 
cols = fullData.columns 
for i in range(len(cols)-1): 
v = fullData[cols[i]].values 
    for j in range(i+1,len(cols)): 
    if np.array_equal(v,fullData[cols[j]].values): 
     remove.append(cols[j]) 

fullData.drop(remove, axis=1, inplace=True) 

from sklearn.cross_validation import train_test_split 
X_train, X_test = train_test_split(fullData, test_size=0.20, random_state=1729) 
print(X_train.shape, X_test.shape) 

y_train = X_train["TARGET"].values 
X = X_train.drop(["TARGET","ID"],axis=1,inplace = False) 

from sklearn.ensemble import ExtraTreesClassifier 
clf = ExtraTreesClassifier(random_state=1729) 
selector = clf.fit(X, y_train) 

from sklearn.feature_selection import SelectFromModel 
fs = SelectFromModel(selector, prefit=True) 
X_t = X_test.drop(["TARGET","ID"],axis=1,inplace = False) 
X_t = fs.transform(X_t) 
X_tr = X_train.drop(["TARGET","ID"],axis=1,inplace = False) 
X_tr = fs.transform(X_tr) 


from sklearn.linear_model import LogisticRegression 
log = LogisticRegression(penalty ='l2', C = 1, random_state = 1, 
        ) 
from sklearn import cross_validation 
scores = cross_validation.cross_val_score(log,X_tr,y_train,cv = 10) 

print(scores.mean()) 
log.fit(X_tr,y_train) 
predictions = log.predict(X_t) 
predictions = predictions.astype(int) 
print(predictions.mean()) 

Answer 1

あなたがCのパラメータを設定していない - だけでなく、技術的にあなたがありますが、唯一のデフォルト値に - の一つでありますあまりにも似合っていると思われる通常の容疑者。 GridSearchCVを見て、Cパラメータ（たとえば10^-5から10^5まで）のいくつかの値で少しでも遊んで問題が緩和されるかどうかを調べることができます。ペナルティルールを 'l1'に変更することも同様に役立ちます。

さらに、この競合にはいくつかの課題がありました。これは不均衡なデータセットであり、トレーニングセットとプライベートLBの間の配布は少し異なります。 LRのような単純なアルゴリズムを使用する場合は、このすべてがあなたと対戦する場合は特にです。