机器学习公开课笔记(8)：k-means聚类和PCA降维

K-Means算法

非监督式学习对一组无标签的数据试图发现其内在的结构，主要用途包括：

市场划分（Market Segmentation）
社交网络分析（Social Network Analysis）
管理计算机集群（Organize Computer Clusters）
天文学数据分析（Astronomical Data Analysis）

K-Means算法属于非监督式学习的一种，算法的输入是：训练数据集 $\{x^{(1)},x^{(2)},\ldots, x^{(m)}\}$ (其中 $x^{(i)}\in R^{n}$ )和聚类数量 $K$ （将数据划分为 $K$ 类）；算法输出是 $K$ 个聚类中心 $\mu_1, \mu_2, \ldots, \mu_K$ 和每个数据点 $x^{(i)}$ 所在的分类。

K-Means算法步骤

随机初始化 $K$ 个聚类中心(cluster centroid) $\mu_1, \mu_2, \ldots, \mu_K$
Cluster Assignment: 对于每个数据点 $x^{(i)}$ ，寻找离它最近的聚类中心，将其归入该类；即 $c^{(i)}=\min\limits_k||x^{(i)}-\mu_k||^2$ ，其中 $c^{(i)}$ 表示 $x^{(i)}$ 所在的类
Move Centroid: 更新聚类中心 $u_k$ 的值为所有属于类 $k$ 的数据点的平均值
重复2、3步直到收敛或者达到最大迭代次数

图1 K-Means算法示例

K-Means算法的优化目标

用 $\mu_{c^{(i)}}$ 表示第 $i$ 个数据点 $x^{(i)}$ 所在类的中心，则K-Means优化的代价函数为 $J(c^{(1)},\ldots,c^{(m)},\mu_1,\ldots,\mu_K)=\frac{1}{m}\sum\limits_{i=1}^{m}||x^{(i)}-\mu_{c^{(i)}}||^2$ 希望找到最优参数使得该函数最小化，即 $\min\limits_{\substack{c^{(1)},\ldots,c^{(m)} \\ \mu_1,\ldots,\mu_K}}J(c^{(1)},\ldots,c^{(m)},\mu_1,\ldots,\mu_K)$

需要注意的问题

随机初始化：常用的初始化方法是，从训练数据点中随机选择 $K$ ( $K < m$ )个数据点，作为初始的聚类中心 $\mu_1, \mu_2, \ldots, \mu_K$
局部最优：算法聚类的性能与初始聚类中心的选择有关，为避免陷入局部最优（如图2所示），应该运行多次（50次）取使得 $J$ 最小的结果
$K$ 值选择：Elbow方法，绘制 $J$ 随 $K$ 的变化曲线，选择下降速度突然变慢的转折点作为K值；对于转折不明显的曲线，可根据K-Means算法后续的目标进行选择。

图2 K-Means算法的全局最优解和局部最优解

图3 用Elbow方法选择K值的情况（左）和Elbow法不适用的情况（右）

PCA降维算法

动机

数据压缩：将高维数据(n维)压缩为低维数据(k维)

数据可视化：将数据压缩到2维/3维方便可视化

PCA问题形式化

如果需要将二维数据点，压缩为一维数据点，我们需要找到一个方向，使得数据点到这个方向上投射时的误差最小（即点到该直线的距离最小）；更一般地，如果需要将 $n$ 维的数据点压缩到 $k$ 维，我们需要找到 $k$ 个新的方向 $u^{(1)}, u^{(2)}, \ldots, u^{(k)}$ 使得数据点投射到每个方向 $u^{(i)}$ 时的误差最小。

图4 PCA实例，将2维数据点压缩为1维数据点，找到新的方向 $u_1$ ，使得投射误差（图中的垂线距离如 $x^i$ 到 ${\widetilde x}^i$ ）最小

注意：PCA和线性回归的区别，PCA是保证投射的误差（图5右的黄线）最小，而线性回归是保证沿 $y$ 方向的误差（图5左的黄线）最小.

图5 线性回归和PCA优化目标的区别

PCA算法步骤

1. 数据预处理：mean normalization： $\mu_j = \frac{1}{m}\sum\limits_{i=1}^{m}x_j^{(i)}, x_j^{(i)}=x_j-\mu_j$ ；feature scaling：(可选，不同特征范围差距过大时需要) ， $x_j^{(i)}=\frac{x^{(i)}-\mu_j}{\sigma_j}$

2. 计算协方差矩阵(Convariance Matrix) $\Sigma=\frac{1}{m}\sum\limits_{i=1}^{m}x^{(i)}(x^{(i)})^T \quad \text{or} \quad \Sigma = \frac{1}{m}X^TX$

3. 计算协方差矩阵 $\Sigma$ 的特征向量 [U, S, V] = svd(Sigma)

4. 选择U矩阵的前k个列向量作为k个主元方向，形成矩阵 $U_{reduce}$

5. 对于每个原始数据点 $x$ ( $x\in R^n$ )，其降维后的数据点 $z$ ( $z \in R^k$ )为 $z=U_{reduce}^T x$

应用PCA

重构数据：对于降维后k维数据点z，将其恢复n维后的近似点为 $x_{apporx}(\approx x)=U_{reduce}z$

选择k值

平均投射误差(Average square projection error)： $\frac{1}{m}\sum\limits_{i=1}^{m}||x^{(i)}-x^{(i)}_{approx}||^2$
total variation: $\frac{1}{m}\sum\limits_{i=1}^{m}||x^{(i)}||^2$
选择最小的k值使得 $\frac{\frac{1}{m}\sum\limits_{i=1}^{m}||x^{(i)}-x^{(i)}_{approx}||^2}{\frac{1}{m}\sum\limits_{i=1}^{m}||x^{(i)}||^2} \leq 0.01(0.05)$ ，也可以使用SVD分解后的S矩阵进行选择 $1-\frac{\sum\limits_{i=1}^{k}S_{ii}}{\sum\limits_{i=1}^{n}S_{ii}}\leq 0.01(0.05)$

应用PCA的建议

用于加速监督式学习：(1) 对于带标签的数据，去掉标签后进行PCA数据降维，(2)使用降维后的数据进行模型训练，(3) 对于新的数据点，先PCA降维得到降维后数据，带入模型获得预测值。注：应仅用训练集数据进行PCA降维获取映射 $x^{(i)}\rightarrow z^{(i)}$ ，然后将该映射（PCA选择的主元矩阵 $U_{reduce}$ ）应用到验证集和测试集
不要用PCA阻止过拟合，用regularization。
在使用PCA之前，先用原始数据进行模型训练，如果不行，再考虑使用PCA；而不要上来直接使用PCA。