確率的なkNNとナイーブベイズの違い

Question

私は標準のkNNアルゴリズムを変更して、通常の分類の代わりにクラスに属する確率を得ることを試みています。私はProbabilistic kNNに関する多くの情報を見つけられませんでしたが、私が理解する限り、kNNに似ていますが、与えられた半径内のすべてのクラスの例の割合を計算するという違いがあります。

Naive BayesとProbabilistic kNNの違いは何ですか？ Naive BayesはPkNNがそうではないが、以前の可能性を考慮に入れていることが分かります。私は間違っていますか？

ありがとうございます！

Answer 1

正直言って類似点はほとんどありません。

ナイーブベイは、各クラスが機能ベースで独立した単純な分布に従って配布されることを前提としています。連続している場合 - クラス全体（各自）に放射状の正規分布に適合し、決定を下すargmax_y N(m_y, Sigma_y)

KNNは確率モデルではありません。あなたが参照している修正は、オリジナルのアイデアの単純な「滑らかな」バージョンです。ここでは、最寄りの集合の各クラスの割合を返します（これは実際には「確率的なkNN」ではありません。確率の）。これはデータ配信については何も想定していません。特に、十分な訓練サンプルを与えれば、どのデータセットにも完全に適合するノンパラメトリックモデルです。 Naive BayesはKガウス（Kはクラス数）にのみ完全に適合します。