Scikit-Learn：すべてのトレーニング例にラベルxが含まれていません

Question

SVMでマルチラベル分類を実行しようとしています。 私はほぼ8kの特徴を持っていて、長さが約400のyベクトルも持っています。私はすでにYベクトルを二値化していますので、私はMultiLabelBinarizer()を使用しませんでした。

私はこのコードを実行している：

X = np.genfromtxt('data_X', delimiter=";") 
Y = np.genfromtxt('data_y', delimiter=";") 
training_X = X[:2600,:] 
training_y = Y[:2600,:] 

test_sample = X[2600:2601,:] 
test_result = Y[2600:2601,:] 

classif = OneVsRestClassifier(SVC(kernel='rbf')) 
classif.fit(training_X, training_y) 
print(classif.predict(test_sample)) 
print(test_result) 

すべてのフィッティングプロセスの後に、それは予測部に来るとき、それは（xは400である私のyベクトルの長さの範囲内で、いくつかの異なる数である）Label not x is present in all training examplesを語ります。その後、予測されたyベクトルが得られ、これは常に長さ400のゼロベクトル（yベクトル長）です。 私はscikit-learnでも機械学習でも新しいです。私はここで問題を理解することができませんでした。何が問題なのですか、それを修正するために何をすべきですか？おかげさまで

Answer 1

ここ2つの問題があります。

1）
2警告誤ったラベルが）あなたは予測に

をすべて0を取得している警告があなたのクラスのいくつかは、トレーニングデータから欠落していることを意味します。これは一般的な問題です。 400クラスがある場合、そのうちのいくつかは非常にまれにしか発生しません。また、データの分割によっては、分割の片側から一部のクラスが欠落することがあります。あなたのデータにはまったく起こらないクラスもあります。あなたはY.sum(axis=0).all()を試してみることができ、それがFalseの場合は、YでもYが発生しないクラスもあります。これはすべて恐ろしいものですが、現実的には、0,1、または非常に小さいクラスを正しく予測することはできませんとにかく何回もそうすることができるので、それらを0と予測することはおそらくあなたができる最高のものです。

all-0の予測については、400クラスではおそらくすべてのクラスが半分よりもずっと少ないことを指摘します。 Y.mean(axis=0).max()をチェックして最高のラベル頻度を得ることができます。 400のクラスでは、数パーセントに過ぎないかもしれません。その場合、各クラスの0-1予測を行うバイナリクラシファイアは、おそらくすべてのインスタンスのすべてのクラスに対して0を選択します。これは実際にはエラーではなく、すべてのクラスの頻度が低いためです。

各インスタンスに肯定ラベル（少なくとも1つ）があることがわかっている場合は、決定値（clf.decision_function）を取得し、インスタンスごとに最高のクラスを選択できます。あなたはそれを行うためにいくつかのコードを書く必要があります。

私はかつてKaggleコンテストでこれに似たトップ10のフィニッシュを経験しました。 〜200のクラスを持つマルチラベルの問題でしたが、いずれも10％の頻度でも発生しなかったため、0〜1回の予測が必要でした。その場合、私は決定値を得て、最高値をとり、閾値を上回った値を取った。私は、ホールドアウトセットで最も効果的なしきい値を選んだ。そのエントリのコードはGithub：Kaggle Greek Media codeにあります。あなたはそれを見てみるかもしれません。

これまでに作成した場合は、読んでいただきありがとうございます。希望が役立ちます。