降维【PCA & SVD】

PCA（principle component analysis）主成分分析

理论依据

• 最大方差理论
• 最小平方误差理论

一、最大方差理论（白面机器学习）

对一个矩阵进行降维，我们希望降维之后的每一维数据能够有大的方差。

为什么呢？

因为每一维的方差越大，说明数据之间区分度高，想象一个极端的情况，降维之后的数据集所有维度 都是一样的值，方差为0，那么数据就没什么意义了，因为退化成了一条数据。

二维图生动形象

1. 推导过程   

对于n个样本，m维特征 (v1, v2, v3 ... vn), vi是m维列向量，进行中心化处理后的样本(x1, x2, x3 ... xn) = (v1 - u, v2 - u, v3 - u, vn - u)，其中u = 1/n ∑_1,nvi

向量内积表示向量在另一个向量上的投影长度，向量 xi 在 w (单位向量)方向上的投影长度（也是投影坐标，因为方向确定）为 (xi, w) = Xi^Tw，目的就是找到一个投影方向w使得x1, x2, x3 ... xn在w上方差最大, 其中 x1, x2, x3 ... xn 的均值为0，0 = 1/n ∑_1,nxi,

投影之后样本均值 u^' = 1/n ∑_1,nxi^Tw = 1/n (∑_1,nxi^T)w = 0

投影之后样本方差： D(X) = 1/n * ∑_1,n(xi^Tw)² = 1/n *  ∑_1,n(xi^Tw)^T(xi^Tw) = 1 / n * ∑_1,n w^Txi xi^Tw = w^T (1 / n * ∑_1,n xi xi^T)w, 其中1 / n * ∑_1,n xi xi^T是中心化处理后的协方差矩阵(协方差矩阵知识）记作∑，所以现在目标就是求D(X) = w^T∑w 在 w^Tw = 1下的极大值， 构造拉格朗日函数令其导数为 0 （关于向量求导）

得：∑w = λw, 带入D(X) = λw^Tw = λ, 所以投影方向w为协方差矩阵特征向量时，D(x) 有极大值 λ

 2.PCA降维过程

【中心化处理】

• • 对样本进行中心化处理
  • 求样本协方差矩阵
  • 对协方差矩阵进行特征值分解，将特征值从大到小排列。
  • 选取前d大的特征值所对应的特征向量， w1,w2...wd, 将样本n维映射到d维
  • xi' = [w1Txi, w2Txi ... wdTxi]T

       【不需要中心化处理】

• 对每一维特征求其 均值 Uj,
• cov(X_j1, X_j2) = (X_j1 - U_j1)^T (X_j2 - U_j2), 其中X_j1 表示第一列，是第一维特征的所有样本，(n X 1), n个样本，m维特征。
• 组成一个 m * m 的协方差矩阵，进行求特征值与特征向量，根据特征值排序
• 选取前d大的特征值所对应的特征向量， w1,w2...wd, 将样本m维映射到d维
• X [w1, w2 ... wn] 即为降维到m后结果， X = (n, m) , w1 = (m, 1)  

 

PCA的另一种解法：http://www.fuzihao.org/blog/2015/12/04/%E7%90%86%E8%A7%A3PCA%E5%92%8CSVD/

目的：

PCA的目的就是将一个高维矩阵A，通过一种转化，将其变成低维矩阵B，即 AM = B，核心就是求这个M，其中B应该是一个正交阵，每一列都是正交向量

求解推理：

   因为B是正交矩阵，所以B^TB = D, D是对角阵，又 B = AM， 所以 （AM)^T(AM) = D  =>  A^TA = MDM^-1, 又A^TA是一个对称矩阵，所以可以向量分解，A^TA = VΣV^T，其中V是AAT的特征向量矩阵，Σ是特征值组成的对角阵，而V是正交阵，故V^T = V^-1， 所以 M = V， D = Σ

求解流程：

1、对A矩阵每一列进行标准化，（标准化的原因：每一维表示的单位不同，需要去量纲）

2、A^TA矩阵求特征值和特征向量

3、根据需要降到的维度k，选择前k大的特征值与其特征向量

4、最后结果A' = V'Σ'V^T'

 

SVD：

目标：

SVD是想通过 A = UΣV^T，其中U V是正交阵，Σ是对角阵，进行降维。

推理：

A^TA = （UΣV^T)^T(UΣV^T) = VΣU^TUΣV^T = VΣ²V^T, 所以 右奇异向量（V）是A^TA的特征向量

AA^T = UΣV^TV^TΣU^T = UΣ²U^T ，所以左奇异向量（U）是AA^T的特征向量

而Σ2是AA^T或A^TA的特征值组成的对角阵

 

PCA和SVD区别：https://www.cnblogs.com/bjwu/p/9280492.html

方法上：

PCA需要计算协方差矩阵 A^TA，当样本数和特征数很多的时候，这个计算量是相当大的。

SVD也可以得到协方差矩阵 ATA，ATA 最大的k个特征向量张成的矩阵，但是SVD有个好处，有一些SVD的实现算法（什么算法？）可以不求协方差矩阵XTX，也能求出我们的右奇异矩阵V。也就是说，我们的PCA算法可以不用做特征分解，而是做SVD来完成。

      奇异值分解迭代计算比协方差矩阵的特征值分解更快更准确。 

      PCA仅用到了SVD的右奇异矩阵V，没有用左奇异矩阵，左奇异矩阵有什么用呢？

假设我们的样本是m✖️n的矩阵X，如果我们通过SVD找到了矩阵 XTXXTX 的最大的k个特征向量组成的m✖️d维矩阵U，则我们进行如下处理：

     X′_d×n=U^T_d×mX_m×n

     可以得到一个d✖️n的矩阵X'，且这个矩阵和我们原来的m✖️n维的样本矩阵X相比，行数从m剪到了k，可见对行数进行了压缩。

也就是说，左奇异矩阵可以用于行数的压缩。相对的，右奇异矩阵可以用于列数即特征维度的压缩，也就是我们的PCA降维。

     换句话说，SVD可以获取另一个方向上的主成分，而PCA只能获得单个方向上的主成分。这一点在NLP的文本处理上得到了很大体现。

    应用上：

    两者在输出上都是一样的，唯一的区别在输入，SVD可以输入稀疏矩阵（sparse matrix）。在原理上，也可以说SVD更适于输入稀疏矩阵。
    因为PCA需要进行去均值化处理，所以不可避免的破坏了矩阵的稀疏性。所以，对于稀疏矩阵来说，SVD更适用，这样对于大数据来说节省了很大空间。

参考： 

https://blog.csdn.net/HLBoy_happy/article/details/77146012

https://www.zhihu.com/question/20852004