kNNは統計的分類子ですか？

Question

私は現在、人工知能試験の機械学習プロジェクトに取り組んでいます。目的は、WEKAを使用して比較する2つの分類アルゴリズムを正しく選択することです。これらの2つのアルゴリズムは、比較を行う理由が十分に異なる必要があることに注意してください。また、アルゴリズムは公称データと数値データの両方を処理する必要があります（これは比較を行うために必須です）。 私の教授は、例えば、統計的分類子と決定木分類子を選択するか、ボトムアップ分類器とトップダウン分類子の比較を調べることを提案しました。

私はMachine Learning分野での経験がほとんどないので、私はWEKAが提供するさまざまなアルゴリズムについていくつかの研究をしています.kNN、つまりk-nearest neighborsアルゴリズムを採用しました。 統計的ですか？ Decision Stumpアルゴリズムと比較することができますか？

それ以外の場合は、上記の要件を満たすアルゴリズムをいくつか提案できますか？

P.S .:処理されるデータは、数値と名目の両方でなければなりません。 WEKAには、数値的/名目的な特徴と数値/公称のクラスがあります。数値/公称のフィーチャとクラスの両方を持つアルゴリズムを選択する必要がありますか？

本当にありがとうございました。ご協力いただきありがとうございます。

Answer 1

教授の説明によると、k-Nearest Neighbors (kNN)は統計的分類子ではありません。ほとんどの場合、統計的分類子は、（統計を直接使用するか、またはそれらを変換することによって）訓練データの統計を介して一般化するものである。この例はNaïve Bayes Classifierです。対照的に、kNNは、Instance-Based Learningの例である。トレーニングデータの統計は使用しません。むしろ、新しい観測値を直接トレーニングインスタンスと比較して分類を実行します。

比較すると、はい、kNNのパフォーマンスをデシジョンスタンプ（または他の分類子）と比較できます。どの2つの教師付き分類器でも、トレーニング/テストデータに関して分類精度が得られるので、その性能を比較することができます。