11、主成分分析（Principal Component Analysis，PCA）——降维
1、 主成分分析（Principal Component Analysis，PCA）
主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。
其思想如下：
- PCA就是将高维的数据通过线性变换投影到低维空间上去。
- 投影思想：找出最能够代表原始数据的投影方法。被PCA降掉的那些维度只能是那些噪声或是冗余的数据。
- 去冗余：去除可以被其他向量代表的线性相关向量，这部分信息量是多余的。
- 去噪声，去除较小特征值对应的特征向量，特征值的大小反映了变换后在特征向量方向上变换的幅度，幅度越大，说明这个方向上的元素差异也越大，要保留。
- 对角化矩阵，寻找极大线性无关组，保留较大的特征值，去除较小特征值，组成一个投影矩阵，对原始样本矩阵进行投影，得到降维后的新样本矩阵。
- 完成PCA的关键是——协方差矩阵。协方差矩阵，能同时表现不同维度间的相关性以及各个维度上的方差。协方差矩阵度量的是维度与维度之间的关系，而非样本与样本之间。
- 之所以对角化，因为对角化之后非对角上的元素都是0，达到去噪声的目的。对角化后的协方差矩阵，对角线上较小的新方差对应的就是那些该去掉的维度。所以我们只取那些含有较大能量(特征值)的维度，其余的就舍掉，即去冗余。
2、 图解PCA核心思想
PCA可解决训练数据中存在数据特征过多或特征累赘的问题。核心思想是将m维特征映射到n维（n < m），这n维形成主元，是重构出来最能代表原始数据的正交特征。
假设数据集是m个n维，$(\boldsymbol x^{(1)}, \boldsymbol x^{(2)}, \cdots, \boldsymbol x^{(m)})$。如果$n=2$，需要降维到$n'=1$，现在想找到某一维度方向代表这两个维度的数据。下图有$u_1, u_2$两个向量方向，但是哪个向量才是我们所想要的，可以更好代表原始数据集的呢？
从图可看出，$u_1$比$u_2$好，为什么呢？有以下两个主要评价指标： 1). 样本点到这个直线的距离足够近。 2). 样本点在这个直线上的投影能尽可能的分开。
如果我们需要降维的目标维数是其他任意维，则： 1). 样本点到这个超平面的距离足够近。 2). 样本点在这个超平面上的投影能尽可能的分开。
3、 PCA算法推理
下面以基于最小投影距离为评价指标推理：
假设数据集是m个n维，$(x^{(1)}, x^{(2)},...,x^{(m)})$，且数据进行了中心化。经过投影变换得到新坐标为 ${w_1,w_2,...,w_n}$，其中 $w$ 是标准正交基，即 $\| w \|_2 = 1$，$w_i^Tw_j = 0$。
经过降维后，新坐标为 ${ w_1,w_2,...,w_n }$，其中 $n'$ 是降维后的目标维数。样本点 $x^{(i)}$ 在新坐标系下的投影为 $z^{(i)} = \left(z_1^{(i)}, z_2^{(i)}, ..., z_{n'}^{(i)} \right)$，其中 $z_j^{(i)} = w_j^Tx^{(i)}$ 是 $x^{(i)} $ 在低维坐标系里第 j 维的坐标。
如果用 $z^{(i)} $ 去恢复 $x^{(i)} $ ，则得到的恢复数据为 $\widehat{x}^{(i)} = \sum_{j=1}^{n'} x_j^{(i)} w_j = Wz^{(i)}$，其中 $W$为标准正交基组成的矩阵。
考虑到整个样本集，样本点到这个超平面的距离足够近，目标变为最小化 $\sum^m_{i=1} \| \hat{x}^{(i)} - x^{(i)} \|_2^2$ 。对此式进行推理，可得：
$ \sum^m_{i=1} \| \hat{x}^{(i)} - x^{(i)} \|_2^2 = \sum^m_{i=1} \| Wz^{(i)} - x^{(i)} \|_2^2 \ = \sum^m_{i=1} \left( Wz^{(i)} \right)^T \left( Wz^{(i)} \right) - 2\sum^m_{i=1} \left( Wz^{(i)} \right)^T x^{(i)} + \sum^m_{i=1} \left( x^{(i)} \right)^T x^{(i)} \ = \sum^m_{i=1} \left( z^{(i)} \right)^T \left( z^{(i)} \right) - 2\sum^m_{i=1} \left( z^{(i)} \right)^T x^{(i)} + \sum^m_{i=1} \left( x^{(i)} \right)^T x^{(i)} \ = - \sum^m_{i=1} \left( z^{(i)} \right)^T \left( z^{(i)} \right) + \sum^m_{i=1} \left( x^{(i)} \right)^T x^{(i)} \ = -tr \left( W^T \left( \sum^m_{i=1} x^{(i)} \left( x^{(i)} \right)^T \right)W \right) + \sum^m_{i=1} \left( x^{(i)} \right)^T x^{(i)} \ = -tr \left( W^TXX^TW \right) + \sum^m_{i=1} \left( x^{(i)} \right)^T x^{(i)} $
在推导过程中，分别用到了 $\overline{x}^{(i)} = Wz^{(i)}$ ，矩阵转置公式 $(AB)^T = B^TA^T$，$W^TW = I$，$z^{(i)} = W^Tx^{(i)}$ 以及矩阵的迹，最后两步是将代数和转为矩阵形式。 由于 $W$ 的每一个向量 $wj$ 是标准正交基，$\sum^m_{i=1} x^{(i)} \left( x^{(i)} \right)^T$ 是数据集的协方差矩阵，$\sum^m_{i=1} \left( x^{(i)} \right)^T x^{(i)} $ 是一个常量。最小化 $\sum^m_{i=1} \| \hat{x}^{(i)} - x^{(i)} \|^22$ 又可等价于
$ \underbrace{\arg \min}W - tr \left( W^TXX^TW \right) s.t.W^TW = I $
利用拉格朗日函数可得到
$ J(W) = -tr(W^TXX^TW) + \lambda(W^TW - I) $
对 $W$ 求导，可得 $-XX^TW + \lambda W = 0 $ ，也即 $ XX^TW = \lambda W $ 。 $ XX^T $ 是 $ n' $ 个特征向量组成的矩阵，$\lambda$ 为$ XX^T $ 的特征值。$W$ 即为我们想要的矩阵。 对于原始数据，只需要 $z^{(i)} = W^TX^{(i)}$ ，就可把原始数据集降维到最小投影距离的 $n'$ 维数据集。
基于最大投影方差的推导，这里就不再赘述，有兴趣的同仁可自行查阅资料。
4、PCA算法流程总结
输入：$n$ 维样本集 $D = \left( x^{(1)},x^{(2)},...,x^{(m)} \right)$ ，目标降维的维数 $n'$ 。
输出：降维后的新样本集 $D' = \left( z^{(1)},z^{(2)},...,z^{(m)} \right)$ 。
主要步骤如下： 1). 对所有的样本进行中心化，$ x^{(i)} = x^{(i)} - \frac{1}{m} \sum^m_{j=1} x^{(j)} $ 。 2). 计算样本的协方差矩阵 $XX^T$ 。 3). 对协方差矩阵 $XX^T$ 进行特征值分解。 4). 取出最大的 $n' $ 个特征值对应的特征向量 ${ w_1,w_2,...,w_{n'} }$ 。 5). 标准化特征向量，得到特征向量矩阵 $W$ 。 6). 转化样本集中的每个样本 $z^{(i)} = W^T x^{(i)}$ 。 7). 得到输出矩阵 $D' = \left( z^{(1)},z^{(2)},...,z^{(n)} \right)$ 。 注：在降维时，有时不明确目标维数，而是指定降维到的主成分比重阈值 $k(k \epsilon(0,1])$ 。假设 $n$ 个特征值为 $\lambda_1 \geqslant \lambda2 \geqslant ... \geqslant \lambda_n$ ，则 $n'$ 可从 $\sum^{n'}_{i=1} \lambda_i \geqslant k \times \sum^n_{i=1} \lambda_i $ 得到。
5、PCA算法主要优缺点
优点: 1). 仅仅需要以方差衡量信息量，不受数据集以外的因素影响。 2).各主成分之间正交，可消除原始数据成分间的相互影响的因素。3). 计算方法简单，主要运算是特征值分解，易于实现。
缺点: 1).主成分各个特征维度的含义具有一定的模糊性，不如原始样本特征的解释性强。2). 方差小的非主成分也可能含有对样本差异的重要信息，因降维丢弃可能对后续数据处理有影响。
6、降维的必要性及目的
降维的必要性： 1). 多重共线性和预测变量之间相互关联。多重共线性会导致解空间的不稳定，从而可能导致结果的不连贯。 2). 高维空间本身具有稀疏性。一维正态分布有68%的值落于正负标准差之间，而在十维空间上只有2%。 3). 过多的变量，对查找规律造成冗余麻烦。 4). 仅在变量层面上分析可能会忽略变量之间的潜在联系。例如几个预测变量可能落入仅反映数据某一方面特征的一个组内。
降维的目的： 1). 减少预测变量的个数。 2). 确保这些变量是相互独立的。 3). 提供一个框架来解释结果。相关特征，特别是重要特征更能在数据中明确的显示出来；如果只有两维或者三维的话，更便于可视化展示。 4). 数据在低维下更容易处理、更容易使用。 5). 去除数据噪声。 6). 降低算法运算开销。
7、KPCA与PCA的区别
应用PCA算法前提是假设存在一个线性超平面，进而投影。那如果数据不是线性的呢？该怎么办？这时候就需要KPCA，数据集从 $n$ 维映射到线性可分的高维 $N >n$，然后再从 $N$ 维降维到一个低维度 $n'(n'<n<N)$ 。
KPCA用到了核函数思想，使用了核函数的主成分分析一般称为核主成分分析(Kernelized PCA, 简称KPCA）。
假设高维空间数据由 $n$ 维空间的数据通过映射 $\phi$ 产生。
$n$ 维空间的特征分解为：
$ \sum^m_{i=1} x^{(i)} \left( x^{(i)} \right)^T W = \lambda W $
其映射为
$ \sum^m_{i=1} \phi \left( x^{(i)} \right) \phi \left( x^{(i)} \right)^T W = \lambda W $
通过在高维空间进行协方差矩阵的特征值分解，然后用和PCA一样的方法进行降维。由于KPCA需要核函数的运算，因此它的计算量要比PCA大很多。
