线性代数之SVD与PCA

[作者：byeyear    Email：east3@163.com    首发www.cnblogs.com    转载请注明]

回忆学校的美好时光，一起来复习下曾经的课程吧。

1. SVD推荐ams上的一篇文章：

    http://www.ams.org/samplings/feature-column/fcarc-svd

    下面的文字为简短摘要。

    我们知道，如果矩阵A有一组特征值λ_k和特征向量v_k，那么下式成立：

    Av_k=λv_k

    矩阵的奇异值σ满足类似的式子，如下所示：

    Av_k=σ_ku_k

    各单位向量v_k相互正交；各单位向量u_k也相互正交。

    以二阶矩阵为例，它有两个奇异值σ₁，σ₂：

    Av₁=σ₁u₁

    Av₂=σ₂u₂

    v₁和v₂正交，u₁和u₂正交，且均为单位向量。对于R²中的任意向量x，若将其投影到span{v1,v2}，那么：

    Ax=A[(v₁·x)v₁+(v₂·x)v₂]

        =(v₁·x)Av₁+(v₂·x)Av₂

        =(v₁·x)σ₁u₁+(v₂·x)σ₂u₂

        =u₁σ₁v₁^Tx+u₂σ₂v₂^Tx                 // 此处利用了m^Tnp=pm^Tn，p，m，n为同阶向量

     因此A=u₁σ₁v₁^T+u₂σ₂v₂^T

     写成更一般的矩阵形式，就是：

     A=UΣV

     其中：

     A是mxn矩阵

     U=[u₁ u₂ ... u_m]，是mxm方阵

     Σ是主对角线为σ₁ ... σ_n的mxn准对角矩阵

     V=[v₁ v₂ ... vn]，是nxn方阵