机器学习：降维工具 - PCA

降维（dimensionality reduction）就是减少数据特征的维度

作用
使得数据集更易使用
降低很多算法的计算开销
去除噪声
使得结果易懂

PCA（主成分分析 Principal Component Analysis）
PCA 将数据从原来的坐标系转换到了新的坐标系
第一个新坐标轴选择的是原始数据中方差最大的方向
第二个新坐标轴的选择和第一个坐标轴正交且具有最大方差的方向
重复该过程，重复次数为特征的数目
我们会发现，大部分方差都包含在最前面的几个新坐标轴中
因此，我们可以忽略余下的坐标轴，即对数据进行了降维处理

因子分析（Factor Analysis）
假设在观察数据的生成中有一些观察不到的隐变量（latent variable）
假设观察数据是这些隐变量和某些噪声的线性组合
那么隐变量数据可能比观察数据的数目少，就是说通过找到隐变量就可以实现数据的降维

独立成分分析（Independent Component Analysis，ICA）
假设数据是从 N 个数据源生成的，数据为多个数据源的混合观察结果
这些数据源之间在统计上是相互独立的
如果数据源的数目少于观察数据的数目，则可以实现降维过程

下面只讲 PCA 技术

优点：降低数据的复杂性，识别最重要的多个特征
缺点：不一定需要，且可能损失有用信息

以上图为例
第一条坐标轴旋转到覆盖数据的最大方差位置 B，最大方差给出了数据最重要的信息
第二条坐标轴选择和第一条坐标轴正交，并且方差最大的方向 C
注意坐标轴的旋转并没有减少数据的维度
如果新坐标 B 比较长，而新坐标 C 比较短，则 B 比较重要而 C 可以忽略
通过这种方法将数据坐标轴旋转至数据角度上的那些最重要的方向

一旦得到了协方差矩阵的特征向量，就可以保留最大的 N 个值
这些特征向量给出了 N 个最重要特征的真实结构
可以通过将数据乘上这 N 个特征向量而将它转换到新的空间

代码

# coding=utf-8
import numpy as np


def pca(dataMat, topNfeat=9999999):
    """
    dataMat - 原数据集
    topNfeat - 压缩为 topNfeat 个特征
    """

    # 所有数据减去平均值
    meanVals = np.mean(dataMat, axis=0)
    meanRemoved = dataMat - meanVals

    # 计算协方差矩阵，协方差用于衡量两个变量(特征)的总体误差
    # 正值表示有正相关性，负值表示有负相关性，0 表示两个变量是统计独立的
    # 而方差是协方差的一种特殊情况，即当两个变量是相同的情况
    covMat = np.cov(meanRemoved, rowvar=False)

    # 计算协方差矩阵(n阶矩阵) covMat 的特征值向量 eigVals (维度 n*1) 和特征向量矩阵 eigVects (维度 n*n)
    # eigVals 的每个值是一个特征值，eigVects 的每一列是一个特征向量，所有特征向量之间都是线性无关的
    # 满足 covMat * eigVects[:,j] = eigVals[j] * eigVects[:,j]
    # 注意这里的特征、特征向量是针对协方差矩阵的，不是针对数据集的
    eigVals, eigVects = np.linalg.eig(np.mat(covMat))

    # 对特征值向量进行从小到大的排序，eigValInd 的值是 eigVals 的下标
    eigValInd = np.argsort(eigVals)

    # 步长 -1 所以从最后一个 (既最大的) 开始取，取 topNfeat 个最大的值的下标
    eigValInd = eigValInd[:-(topNfeat + 1):-1]

    # 通过下标取特征值最大的 topNfeat 个特征向量得到 redEigVects (维度 n*topNfeat)
    redEigVects = eigVects[:, eigValInd]

    # 使用新的特征向量矩阵对原始数据进行降维
    lowDDataMat = meanRemoved * redEigVects

    # 使用新的特征向量矩阵将原始数据集矩阵转换到新的空间
    reconMat = (lowDDataMat * redEigVects.T) + meanVals

    # 返回降维后的原始数据，和转换到新空间的数据
    return lowDDataMat, reconMat