Python：欠けているデータを代入せずにマシンを学習する

Question

私は現在、非常に特定のデータセットで作業しています：約1000カラムと1M行ですが、値の約90％はNanです。 これは、レコードが悪いためではなく、データが個人で測定されたものであり、およそ100のフィーチャだけが個人ごとに関連しているためです。このように、欠損値を代入すると、データ内の情報が完全に破壊されます。

同じ機能を持つ個人をグループ化して、各サブグループに関連する列のみを考慮するのは簡単ではありません。これは、実際には、各列のセット（ほとんどの場合、所与の個人にとって可能である）。

問題は、scikit learnディメンション削減方法で欠損値を処理できないことです。他の方法を使用し、次元削減をスキップするパッケージがありますか？ I

Answer 1

欠損値を処理し、ケースに最適なグラデーションブースティングパッケージを使用することができます.Rbのgbmパッケージとpythonのxgboostを使用することができます。欠損値の自動処理方法xgboostのセクション3.4のthis paperを参照して洞察を得てください。