意思決定ツリーの作成と属性の分割に関する問題？

Question

私は可能な値（青、緑、赤、橙、ピンク）を持つ属性 "色"を分割しようとしています。

私はentropyの値に分割しています。最良の分割は、マルチウェイ5、マルチウェイ4、マルチウェイ3、またはバイナリのいずれかです。たとえば、

5: (Blue, Green,Red,Orange,Pink) 

4: (Blue, Green), (Red), (Orange), (Pink) 
    (Green,Pink), (Blue),(Red),(Orange) 

3: (Red,Orange), (Blue,Green), (Pink) 
    (Red,Blue), (Green, Orange), (Pink) 

2: (Blue,Green,Red), (Orange,Pink) 
    (Pink), (Blue, Green, Red, Orange) 

などです。しかし、可能なすべての分割の包括的なリストを作成するにはどうすればよいですか？私が使用できる特定のアルゴリズムはありますか？あるいは、私はどのくらいの組み合わせが可能なのかを知ることができますか？

ご協力いただきありがとうございます。ありがとうございます！

Answer 1

あなたは属性あなたはYについての情報を得るか、彼らは独立している場合は情報ゲインがないのいずれかに応じて分割したときのエントロピー（情報ゲイン）に応じて最良の分割は常に5

リコールになる、すなわち情報すべての分割時のゲインはゼロ以上です。従ってIG（ケース2：4）< = IG（ケース1）ケース2,3,4は、情報を追加するだけでなく失うことのない、さらに分割を追加することでケース1にすることができます。

分割> = 0のIGの場合は、Can the value of information gain be negative?を参照してください。

一般に、意思決定ツリー/ RFでは、属性に対して最も高いIGを与える単一の分割を見つけようとし、属性間で比較して1つを選択します。