主成分分析 PCA 应用实例 鸢尾花数据集

对鸢尾花数据集采用主成分分析方法，使数据降维。

如下图所示为数据集的格式：

　　　　　　　　　　

 

　　数据集中前4列数据分别代表花萼长度，花萼宽度，花瓣长度，花瓣宽度，最后一列为标签。共有150条数据。

　　我们对此数据集利用主成分分析方法，取出数据集的前4列特征组成矩阵X, 矩阵X的维度为150*4，对其进行转置后变为4*150.

　　第二步用X.T*X得到4*4维度的对称矩阵，我们就可以求这个对称矩阵的特征值lambda1,lambda2,lambda3,lambda4和对应的特征向量u1,u2,u3,u4。特征值一定是实数，特征向量之间是相互正交的。每个特征向量都是4*1的向量。

　　第三步把特征值做一个从大到小的排列，取出前两个最大的特征值和对应的特征向量。如果说lambda1最大，也就是说u1是最主要的方向，是最主要的主成分。次大的特征值对应的特征向量是第二主成分，依次往下排列。

　　假如说u1,u2是排列前2的主成分，那么就把样本数据都投影到u1和u2这个方向上，这是只有两维的数据了，并且u1，u2还是垂直的。可以把他看成新的特征选择或组合。效果如下：

　　　　　　　　 

由上图可知，投影后的数据可以很容易的对其进行分类。如下图所示：