主成分分析（PCA）

定义

　　主成分分析（Principal Component Analysis）也称为主分量分析，主要是利用降维的思想，把多指标转化为少数几个综合指标（即主成分），其中每一个主成分都能够反映原始变量的大部分信息，并且所含信息互不重复。

　　优点：降低数据的复杂性，识别最重要的多个特征。

　　缺点：不一定需要，且可能损失有用信息。

　　适用数据类型：数值型数据。

求解

　　PCA由所选的解码函数所决定。具体地，为了简化解码器，使用矩阵乘法将编码映射回Rⁿ，即g(c) = Dc，其中D ∈R^n×l 是定义解码的矩阵。 首先，我们根据一个输入x得到一个最优编码c^*。一种方法是最小化原始输入向量x和重构向量 g(c^*) 之间的距离。可以使用范数来衡量他们之间的距离。在PCA算法中，我们使用L²范数：c^*  =  arg min_c ||x - g(c)||₂ ，我们可以用平方L²范数替代L²范数，因为两者在相同的值c上取得最小值（L2 范数是非负的，并且平方运算在非负值上是单调递增的。）：

c^*  =  arg min_c ||x - g(c)||₂² = (x - g(c))^T(x - g(c))=x^Tx - x^T g(c) - g(c)^Tx + g(c)^T g(c)                                                                               （1.1）

　　标量 g(c)^Tx 的转置等于本身。除去上式中不依赖与c的项，得到如下优化目标：

c^*  =  arg min_c  - 2 x^T g(c) + g(c)^T g(c)                                                                                                                              （1.2）

　　将g(c) = Dc代入上式，(矩阵D的正交性和单位范数约束)得 

c^*  =  arg min_c  - 2 x^T Dc + c^T D^TDc  =   arg min_c  - 2 x^T Dc + c^T I_lc =   arg min_c  - 2 x^T Dc + c^T c                                                        （1.3）

　　通过向量微积分求解最优化问题：

▽_c( - 2 x^T Dc + c^T c )  =  0

- 2 D^T x + 2 c  = 0

解得    c = D^T x

　　最优编码 x只需要一个矩阵-向量乘法操作。为了编码向量，可使用编码函数：f(x) = D^T x，进一步使用矩阵乘法，可以定义PCA重构操作：r(x) = g(f(x)) = DD^T x

　　给定一组数据：x = {x₁, x₂, ..., x_n}

　　求出平均值μ,将x中心化得：{z₁, z₂, ..., z_n} = {x₁-μ, x₂-μ, ..., x_n-μ}

　　中心化后的数据在第一主轴u₁方向上分布散的最开，即u₁方向上的投影的绝对值之和最大（也可以说方差最大），计算投影的方法就是将z和u₁做内积，因为只需求的u₁方向，故设u1是单位向量。最大化：1/n∑_i=1ⁿ|z_i • u₁|，即最大化：1/n∑_i=1ⁿ|z_i • u₁|² = 1/n∑_i=1ⁿ（z_i • u₁）²

　　两个向量做内积可以转化成矩阵相乘：z_i • u₁ =z_i^T• u₁

所以目标函数可以表示为：

1/n∑_i=1ⁿ（z_i^T•u₁）²  = 1/n∑_i=1ⁿ（z_i^T•u₁）^T（z_i^T•u₁） =  1/n∑_i=1ⁿ u₁^T •z_i z_i^T•u₁ 

由于u₁和i无关，故原式可化为： 1/n ×u₁^T(∑_i=1ⁿ z_i z_i^T)u₁         其中，Z = [z₁, z₂, ..., z_n ] , Z^T = [z₁^T, z₂ ^T, ..., z_n ^T ]^T

最后目标函数化为：1/n ×u₁^TZZ ^T u₁ 

　　证明XX ^T 是半正定的对称阵，以及求解目标函数最大值和u₁方向后续给出。