PCA降维之后的样本,其协方差矩阵为对角矩阵。
我们知道PCA降维的目标函数是尽可能地保留原始样本X中的方差信息。
所以降维后样本的协方差矩阵其对角线上元素尽可能得大我是理解,并认可的。
但为什么非对角线元素均为零呢?
降维之后的样本,各个维度之间的相关性完全被切除了。
以下是实验code
降维前
样本协方差矩阵:
可以看到d1和d2关系不大,但d1和d3关系密切;d2和d3关系也不大;
降维后:
样本的协方差矩阵:
所以,为啥非对角线上的元素为0呢?
难道是因为特征向量是正交的?