机器学习实战笔记-12-降维方法

PCA(Principal Component Analysis)与SVD

常用的降维方法有主成分分析(PCA)，因子分析(Factor Analysis)，独立成分分析(ICA)。

1. PCA优点：降低数据的复杂性；缺点：不一定非要用，且可能损失有用信息。适用于数值型数据

2. PCA算法概要：

   选择能覆盖数据，能获得最大方差的直线，为第一个坐标轴(一团数据的长轴)
   
   选择与第一个坐标轴垂直的第二个坐标轴
   
   去除平均值
   
   计算数据集的协方差矩阵
   
   计算协方差矩阵的特征值和特征向量
   
   将特征值从大到小排序
   
   保留最上面的N个特征向量
   
   将数据转换到上述N个特征向向量构建的新空间中
   

3. SVD优点：简化数据，去除噪声，提高算法的结果；缺点：数据的转换可能难以理解。适用于数值型数据。