多数の機能を使用してロジスティック回帰を実行していますか？

Question

私は、ロジスティック回帰のバイナリクラスの問題で、各サンプルに対して330サンプルと27のフィーチャを持つデータセットを持っています。

"10の場合のルール"によれば、各機能を含めるには少なくとも10のイベントが必要です。私は不均衡なデータセットを持っていますが、陽性クラスは20％、陰性クラスは80％です。

これは私にわずか70イベントを与え、約7/8フィーチャをLogisticモデルに含めることができます。

私はすべての機能をプレディクタとして評価したいと思いますが、私はどの機能も選択したくありません。

あなたは何をお勧めしますか？ 7つの機能をすべて組み合わせて使用​​する必要がありますか？アソシエーションモデルで各フィーチャだけを評価し、最終的なモデルに最適なフィーチャだけを選択する必要がありますか？

カテゴリカルと連続的な機能の扱いについても興味がありますが、それらを混在させることはできますか？もし私がカテゴリー[0-1]と連続[0-100]を持っているなら、私は正規化すべきですか？

Answer 1

L1正規化ロジスティック回帰（別名ラッソ回帰）を使用することをお勧めします。あなたがそれに慣れていない場合、アルゴリズムは自動的に精度を向上させるものではないものにペナルティを課すことで、機能のいくつかを自動的に選択します。

この正則化の強さは、テストセットまたは相互検証手順でモデルが最高の精度（または他のメトリック）を達成するまで増減できます（単なるパラメータです）。