主成分分析(PCA)算法
PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。
一句话：用较少的综合指标分别代表存在于各个变量中的各类信息 ，主成分分析与因子分析就属于这类降维算法
数据降维
降维就是一种对高维度特征数据预处理方法。降维是将高维度的数据保留下最重要的一些特征，去除噪声和不重要的特征，从而实现提升数据处理速度的目的。在实际的生产和应用中，降维在一定的信息损失范围内，可以为我们节省大量的时间和成本。降维也成为应用非常广泛的数据预处理方法
降维具有如下一些优点：
-
1) 使得数据集更易使用。
-
2) 降低算法的计算开销。
-
3) 去除噪声。
-
4) 使得结果容易理解。
降维的算法有很多，比如奇异值分解(SVD)、主成分分析(PCA)、因子分析(FA)、独立成分分析(ICA)。
PCA算法流程:
（1）去平均值，即每一位特征减去各自的平均值；
（2）计算协方差矩阵；
（3）计算协方差矩阵的特征值与特征向量；
（4）对特征值从大到小排序；
（5）保留最大的个特征向量；
（6）将数据转换到个特征向量构建的新空间中。
PCA降维准则：
（1） 最近重构性：样本集中所有点，重构后的点距离原来的点的误差之和最小。
（2） 最大可分性：样本在低维空间的投影尽可能分开。
PCA算法优点：
（1）使得数据集更易使用；
（2）降低算法的计算开销；
（3）去除噪声；
（4）使得结果容易理解；
（5）完全无参数限制。
PCA算法缺点：
（1）如果用户对观测对象有一定的先验知识，掌握了数据的一些特征，却无法通过参数化等方法对处理过程进行干预，可能会得不到预期的效果，效率也不高；
（2） 特征值分解有一些局限性，比如变换的矩阵必须是方阵；
（3） 在非高斯分布情况下，PCA方法得出的主元可能并不是最优的。
PCA算法应用：
（1）高维数据集的探索与可视化。
（2）数据压缩。
（3）数据预处理。
（4）图象、语音、通信的分析处理。
（5）降维(最主要)，去除数据冗余与噪声
