PCA主成分分析原理

一个矩阵的主成分是它的协方差矩阵的特征向量，及其对应的特征值排序。

 

 

一、步骤：

1.对所有样本进行中心化（减平均值）

2.计算样本的协方差矩阵

协方差是一种衡量两个变量之间相关性程度的方法。如果协方差为0，则变量不相关，正负号表示变量之间是正相关或负相关。它的计算公式如下：

 

 

协方差矩阵：

1. • 协方差矩阵能处理多维问题；
   • 协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。
   • 协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。
   • 样本矩阵中若每行是一个样本，则每列为一个维度，所以计算协方差时要按列计算均值。

3.对协方差矩阵做特征分解，得到特征值和特征向量

线性代数中的单位矩阵E是啥意思？ 对角线元素都是1，其余为0

 

 

 

4.将特征值排序

5.保留前N个最大的特征值对应的特征向量

6.将原始特征转换到上面得到的N个特征向量构建的新空间中（最后两步，实现了特征压缩）

 

二、原理

1、PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。

2、PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。

3、其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。

4、大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。