scikit adaboost feature_importance_

Question

pythonで実装されたadaboostアルゴリズムはどのように機能の割り当てを各機能に割り当てるのですか？私は機能の選択にそれを使用しており、私のモデルはfeature_importance_の値に基づいて機能の選択を適用する方が優れています。

Answer 1

feature_importances_は、ベース分類器が決定木である場合にsklearnのアドバウトアルゴリズムに使用できる属性です。どのようにfeature_importances_がadaboostアルゴリズムで計算されるのかを理解するには、まず、それが決定木分類子の計算方法を理解する必要があります。

ディシジョン・ツリーの分類子：

feature_importances_は、あなたが選択した基準を分離するものによって異なります。分割基準が「エントロピー」に設定されている場合： feature_importances_は、各フィーチャの情報ゲインに相当します。 Here is a tutorial各フィーチャの情報ゲインの計算方法（特にスライド7）。分割基準を変更すると、feature_importances_は情報利得と同等ではなくなりますが、計算に使用する手順はスライド7での手順と似ています（エントロピーの代わりに新しい分割基準を使用）。

アンサンブル分類器：

は、今度はそれがアダブーストアルゴリズムで決定される方法のあなたの元の質問に戻りましょう。 According to the docs：

重要性のこの概念は、単に各ツリー

の機能の重要性を平均化することにより、決定木のアンサンブルに拡張することができます