主成分分析

Question

私は人間の行動認識に使用する分類子（ガウス混合モデル）を書く必要があります。 私はビデオの4つのデータセットを持っています。トレーニングセットとして3つ、テストセットとして1つを選択します。 gmモデルをトレーニングセットに適用する前に、そのモデルにpcaを実行します。

pca_coeff=princomp(trainig_data); 
score = training_data * pca_coeff; 
training_data = score(:,1:min(size(score,2),numDimension)); 

どうすればよいですか？私は、テストデータ

new_pca_coeff=princomp(testing_data); 
score = testing_data * new_pca_coeff; 
testing_data = score(:,1:min(size(score,2),numDimension)); 

または私はトレーニングデータのための計算pca_coeffを使用する必要があります上に新しいprincompを実行すべきか？

score = testing_data * pca_coeff; 
testing_data = score(:,1:min(size(score,2),numDimension)); 

Answer 1

分類子は、トレーニングデータの主成分によって定義された空間内のデータに対して訓練されています。別の空間で評価するのは意味がありません。したがって、データをトレーニングするのと同じ変換をテストデータに適用する必要があります。異なるpca_coefを計算しないでください。

偶然、テストデータがトレーニングデータと同じ分布から独立して描かれている場合は、十分に大きなトレーニングとテストセットの場合、主成分はほぼ同じでなければなりません。

使用する主成分の数を選択する1つの方法は、PCA分解から固有値を調べることです。あなたはこのようなprincomp関数からこれらを取得することができます。

​​

eigenvalues変数は、各要素は、対応する主成分で占め分散の量を記述する配列となります。そうした場合：しかし、あなたの1月、http://www.ats.ucla.edu/stat/SPSS/output/spss_output_pca_5.gif：

plot(eigenvalues); 

あなたが最初の固有値が最大になることを確認する必要があり、彼らは急速に減少します（これは、「スクリープロット」と呼ばれ、次のようになります。 12の代わりに800点まで）。

小さい対応する固有値を持つ主成分は、これらの次元のデータの分散が非常に小さいため、有用である可能性は低いです。多くの人々がしきい値を選択し、固有値がそのしきい値を超えるすべての主要なコンポーネントを選択します。しきい値を選ぶ非公式の方法は、Screeプロットを見て、ラインのレベルのすぐ後にスレッシュホールドを選択することです。以前にリンクした画像では、良い値は〜0.8で、3つまたは4つの主成分。 「低次元データによって記述分散の割合」を算出する

proportion_of_variance = sum(eigenvalues(1:k)) ./ sum(eigenvalues); 

：

IIRC、あなたのような何かを行うことができます。

ただし、分類タスクに主成分を使用しているため、特定の数のPCが最適であることを確かめることはできません。フィーチャの分散は、それが分類にどれほど有益であるかについては何も教えてくれません。 ScreeプロットでPCを選択する代わりに、さまざまな数の主成分を使って分類し、最良の数が経験的に何であるかを調べるだけです。