プリンシパルコンポーネントが最大分散の方向にあるのはなぜですか？

Question

主成分分析の文脈におけるバリエーションデータとは何ですか？私は5つの特徴があると仮定するか、または5次元とし、データの変化が何であるかを言うことができますか？意味、すべての機能のデータの変化を指しているのですか？PCAがデータの最大変化の方向にあるのはなぜですか？

Answer 1

This回答からCross Validatedは、あなたの質問に対する優れた答えを提供します。

これに加えて、なぜPCAがデータの最大変動方向にあるのですか？、私は情報理論に関するいくつかの基礎を読むことをお勧めします、this blog articleは、主題の素晴らしい紹介を提供します。具体的な例を示すには、5つのフィーチャの中にベクトルが1つあります。それはあなたを助けないという直感的なことです。すべてのサンプルが同じ機能を共有します。この特定の機能の分散はゼロになります。情報はありません。ゼロエントロピーは、もしあなたが望むなら、完璧な順序は、与えられた方向に変化するものは何もないことを意味します：データから落とす明確な候補。分散を増やす=情報の内容を増やす。