Deep Learning2: PCA and Whitening

在Technion的暑期学校上，其实已经学过PCA，一直稀里糊涂的，知识点没有串起来

PCA和whitening 是对于数据的预处理，提高运算效率

1. PCA Principal Components Analysis 主成分析法

降低维度，数据可视化先均值化，再将不同维度数据归一化到同一维（除以最大值）

也就是对数据进行压缩，在降维的同时能够最大程度保留数据特征

将原始数据投射到低维度空间，求正交向量 $\textstyle u_1$ $\textstyle u_2$ 步骤如下，数据在主成分保留的特征最多

$\begin{align} \Sigma = \frac{1}{m} \sum_{i=1}^m (x^{(i)})(x^{(i)})^T. \end{align}$

$\textstyle u_1$ $\textstyle u_2$ 分别是矩阵的第一特征向量和第二特征向量

得到矩阵U

$\begin{align} U = \begin{bmatrix} | & | & & | \\ u_1 & u_2 & \cdots & u_n \\ | & | & & | \end{bmatrix} \end{align}$

接下来对数据进行转换

$\begin{align} x_{\rm rot} = U^Tx = \begin{bmatrix} u_1^Tx \\ u_2^Tx \end{bmatrix} \end{align}$

降维操作即只保留主要成分，其他设为0

$\begin{align} \tilde{x} = \begin{bmatrix} x_{{\rm rot},1} \\ \vdots \\ x_{{\rm rot},k} \\ 0 \\ \vdots \\ 0 \\ \end{bmatrix} \approx \begin{bmatrix} x_{{\rm rot},1} \\ \vdots \\ x_{{\rm rot},k} \\ x_{{\rm rot},k+1} \\ \vdots \\ x_{{\rm rot},n} \end{bmatrix} = x_{\rm rot} \end{align}$

还原数据

$\begin{align} \hat{x} = U \begin{bmatrix} \tilde{x}_1 \\ \vdots \\ \tilde{x}_k \\ 0 \\ \vdots \\ 0 \end{bmatrix} = \sum_{i=1}^k u_i \tilde{x}_i. \end{align}$