主成分分析PCA

1、PCA介绍

2、算法流程

假设有n个样本，每个样本有d维的特征：

1、通过每个样本计算各个特征的平均值，然后各个样本的特征分别减去各自的平均值：

 2、计算得到协方差矩阵A：

3、对A矩阵进行特征值分解，得到特征值和特征向量，按特征值从大到小排序：

 

4、选取前d'个作为降维后的特征值及特征向量，得到新的x'_i：

3、理论证明——最大方差法

4、理论证明——最小均方误差法

5、特征值分解

6、应用——特征脸