主成分分析（Principal Components Analysis）

主成分分析PCA(Principal Component Analysis),作用是:

1. 聚类 Clustering：把复杂的多维数据点,简化成少量数据点,易于分簇
2. 降维：降低高维数据,简化计算,达到数据降维,压缩,降噪的目的

PCA 的目的就是找到一个低维映射空间，使得数据映射后方差最大。

理论实现：

首先对样本空间为 \(d\) 维全部的数据中心化，使得均值为 0，即将所有的样本与样本均值相减获得新的样本：

\[\mathbf { x } _ { i } = \mathbf { x } _ { i } - \mu \]

也就是说转换后：

\[\frac { 1 } { N } \sum _ { i = 1 } ^ { N } \mathbf { x } _ { i } = 0_d \]

知识补充：

求向量 u 在向量 v 上的投影：

那么根据上图可以列出以下公式

\[\begin{aligned} u ^ { \prime } & = \frac { d } { | v | } v \\ d & = | u | \cos \theta \\ \cos \theta & = \frac { u^T \cdot v } { | u | | v | } \end{aligned} \]

所以可以解出向量 \(u\) 在向量 \(v\) 上的投影 \(u^\prime\) 为：

\[u^\prime = \frac { u ^ T \cdot v } { | v | ^ { 2 } } v \]

那么将向量 \(v\) 所在直线视为一维空间，那么向量 \(u\) 映射在该维度的表示为

\[u^v = \frac { u ^ T \cdot v } { | v | } = \frac { v ^ T \cdot u } { | v | } \]

也就是说映射后的长度（有方向）成为向量 \(u\) 映射在该维度的表示。

那么现在求取映射后空间，先考虑映射到一维空间，也就是说向一个向量做投影，假如现在向向量 \(u _ { 1 }\) 做投影。

那么由于一开始的中心化操作，使得映射后均值仍然为零：

\[\frac { 1 } { n } \sum _ { i = 1 } ^ { n } \frac { u _ { 1 } ^ { T } } { | u _ { 1 } | } \mathbf x _ { i } = \frac { u _ { 1 } ^ { T } } { | u _ { 1 } | } \sum _ { i = 1 } ^ { n } \frac { 1 } { n } \mathbf x _ { i } = 0 \]

那么映射后的方差有：

\[ \frac { 1 } { n } \sum _ { i = 1 } ^ { n } \left( \frac { u _ { 1 } ^ { T } } { | u _ { 1 } | } \mathbf x _ { i } - 0\right) ^ { 2 } = \frac { 1 } { n } \sum _ { i = 1 } ^ { n } \frac { u _ { 1 } ^ { T } } { | u _ { 1 } | } \mathbf x _ { i } \mathbf x _ { i } ^ { T } \frac { u _ { 1 } } { | u _ { 1 } | } = \frac { u _ { 1 } ^ { T } } { | u _ { 1 } | } \frac { 1 } { n } \sum _ { i = 1 } ^ { n } \mathbf x _ { i } \mathbf x _ { i } ^ { T } \frac { u _ { 1 } } { | u _ { 1 } | } =\frac { u _ { 1 } ^ { T } } { | u _ { 1 } | }S \frac { u _ { 1 } } { | u _ { 1 } | } \]

其中 \(S\) 为数据集的协方差矩阵：

\[S = \frac { 1 } { n } \sum _ { i , j = 1 } ^ { n } \mathbf x _ { i } ^ { T } \cdot \mathbf x _ { j } \]

现在想要映射在该一维空间后数据的方差最大，那么该优化问题为：

\[\begin{aligned} \max _ { u _ { 1 } } \quad & u _ { 1 } ^ { T } \cdot S \cdot u _ { 1 } \\ \text { s.t.} \quad & \left\| u _ { 1 } \right\| _ { 2 } ^ { 2 } = 1 \end{aligned} \]

其中为了方便，将映射向量的长度定为一作为约束条件。为了去掉这一约束条件，使用拉格朗日乘数法转换该最优化问题：

\[ \max _ { u _ { 1 } } \left\{ u _ { 1 } ^ { T } \cdot S \cdot u _ { 1 } + \lambda \left( 1 - \left\| u _ { 1 } \right\| _ { 2 } ^ { 2 } \right) \right\} \]

对于凸优化问题，在最优点出导数为零，所以最优解的必要条件为：

\[2 u _ { 1 } \cdot S + \lambda \left( - 2 u _ { 1 } \right) = 0 \]

也就是说：

\[S u _ { 1 } = \lambda u _ { 1 } \]

可以看出 \(u _ { 1 }\) 是协方差矩阵 \(S\) 的一个特征向量，那么现在代入到原最优化问题：

\[\begin{aligned} \max _ { u _ { 1 } } \quad & u _ { 1 } ^ { T } \cdot \lambda \cdot u _ { 1 } \\ \text { s.t.} \quad & \left\| u _ { 1 } \right\| _ { 2 } ^ { 2 } = 1 \end{aligned} \]

可以进一步转换为：

\[\begin{aligned} \max _ { u _ { 1 } } \quad & \lambda \\ \text { s.t.} \quad & \left\| u _ { 1 } \right\| _ { 2 } ^ { 2 } = 1 \end{aligned} \]

也就是说在约束条件下希望该特征值最大。那么推广到多维空间映射，仍然适用。那么最佳的多维空间则由 Top \(d^{\prime}\) 特征值（最大的\(d^{\prime}\) 个特征值）所对应的特征向量构成。

那么PCA的具体实现流程 ：

\[\begin{aligned} & \text { 1. let }\overline { \mathbf { x } } = \frac { 1 } { N } \sum _ { n = 1 } ^ { N } \mathbf { x } _ { n } , \text { and let } \mathbf { x } _ { n } \leftarrow \mathbf { x } _ { n } - \overline { \mathbf { x } } , X^T = [\mathbf x_1,\cdots,\mathbf x_N] \\ & \text { 2. calculate } \tilde { d } \text { top eigenvectors } \mathbf { w } _ { 1 } , \mathbf { w } _ { 2 } , \ldots , \mathbf { w } _ { \tilde { d } } \text { of } \mathbf { X } ^ { T } \mathbf { X } \\ & \text { 3. return feature transform } \mathbf { \Phi } ( \mathbf { x } ) = \mathbf { W } ( \mathbf { x } - \overline { \mathbf { x } } ) \end{aligned} \]