[C8] 聚类(Clustering)
聚类(Clustering)
非监督学习：简介（Unsupervised Learning: Introduction）
本章节介绍聚类算法，这是我们学习的第一个非监督学习算法——学习无标签数据，而不是此前的有标签数据。
什么是非监督学习？与监督学习对比
监督学习，有标签的训练集，目标是找到区分正负样本的决策边界，需要据此拟合一个假设函数。
非监督学习，数据无任何标签。也就是，将一系列无标签训练数据，输入算法，然后算法自动为我们寻找出这些数据内在的结构。下图的数据看起来可以分成两个分开的点集（称为簇），一个能够找到我圈出的这些点集的算法，就被称为聚类算法。
聚类算法一般用来做什么？
- 市场分割：也许你的数据库存储了许多客户信息，你希望将他们分成不同的客户群，这样你可以对不同类型的客户分别销售产品，或者分别提供更适合的服务。
- 社交网络分析：事实上有许多研究人员正在研究这样一些内容，他们关注一群人，关注社交网络，例如Facebook，Google+，或者是其他的一些信息，比如说：你经常跟哪些人联系，而这些人又经常给哪些人发邮件，由此找到关系密切的人群。
- 使用聚类算法来更好的组织计算机集群，或更好的管理数据中心。如果知道数据中心中，那些计算机经常协作工作。你就可以重新分配资源，重新布局网络。由此优化数据中心，优化数据通信。
- 最后，我实际上还在研究如何利用聚类算法了解星系的形成。然后用这个知识，了解一些天文学上的细节问题。
K-均值算法（K-Means Algorithm）
聚类问题中，给出了一个未标记的数据集，希望有一个算法能自动将数据分组成一些相关的子集或簇。
K Means 是迄今为止最流行、使用最广泛的聚类算法，下面说明一下 K-Means 算法是什么以及它是如何工作的。
假设我有一个未标记的数据集，如下图：
现在，我想将数据分为两个聚类，如果运行K-Means算法，第一步是随机初始化两个点，称为聚类质心或簇质心（Cluster Centroids），即：下图中的两个x。K-Means是一种迭代算法，在每次迭代中，它会做两件事：
- 将样本分配给离它最近的质心
- 移动质心到属于该质心的所有样本的平均值处
然后再次重复迭代，直至收敛。
将样本分配给离它最近的质心 这意味着，它通过分别计算并比较每个样本（上图中显示的每个绿点）和两个聚类中心点（红色X和蓝色X）的距离，如果它距离红X近，就将它分配给红X，反之，将其分配给蓝X。如下图，这就是聚类中心点的分配步骤：
移动质心到属于该质心的所有样本的平均值处 这意味着，我们将采用两个聚类中心点，即红X和蓝X，然后将它们移动到相同颜色的点的平均值处。所以我们要做的是查看所有红点并计算平均值，实际上是所有红点位置的平均值，然后我们将红色质心移动到该平均值处。对于蓝色质心也是如此操作，即查看所有蓝点并计算它们的平均值，然后移动蓝色质心到那个平均值处。现在让我们来移动一步，如下如：
我现在把它们移动到了新的位置。红色的那个像那样移动，蓝色的那个像那样移动。然后再次重新迭代运行这两个步骤：
一些点的颜色刚刚改变了，因为被重新分配到了不同的质心，我们继续移动：
如果这些点的颜色不再变化，意味着K-Means已经收敛，我们得到最终的质心位置，以及属于该质心的样本，可以看到，K-Means算法已经很好的在数据集中找到了两个聚类：
让我们更正式地写出K均值算法，如下：
K-Means算法需要两个输入。一个是参数K，它是你要在数据中找到的聚类数。稍后会讲如何来选择这个参数K的值，但现在假设我们已经确定了我们需要的聚类的数量，我们将告诉算法我们认为有多少聚类在数据集中。然后K-Means也会将这种只有X的训练集作为输入，因为这是无监督学习，不再有标签Y。 对于K-Means无监督学习，按照惯例，\(x^{(i)}\) 为属于 \(\mathbb{R}\) 的n维向量，即 \(x^{(i)} \in \mathbb{R}^n\)，此处无需偏置项 \(x_0=1\)。
然后，下图就是K均值算法所做的：
第一步是它随机初始化 k 个簇质心，我们称之为 \(\mu_1\)，\(\mu_2\)，直到 \(\mu_K\)。因此在前面的图中，簇质心对应于红X和蓝X的位置，那时我们有两个簇质心，也许红X是 \(\mu_1\) 而蓝X是 \(\mu_2\)，更一般地说我们会有 K 个聚类质心而不是只有两个。
然后 Repeat 循环意味着我们我会反复做以下事情：
-
簇分配的步骤 ：对于每个训练样本，把变量 \(c^{(i)}\) 设置为簇质心从1到K中最接近 \(x^{(i)}\) 的那个质心的索引。可表示为 \(c^{(i)} = \underset{k}{min} ||x^{(i)} - \mu_k||^2\), 大写的 K 为簇的总数，小写的 k 为 1 ~ K之间的数，表示不同簇质心的索引，这就是簇分配的步骤。
-
质心移动的步骤 ：对于每个簇质心（小写 k 等于 1 到 K），将 \(\mu_k\) 设置为等于分配给该簇质心的所有点的平均值。\(\mu_k\) 为 K * n 维向量，K 是 K 个簇，n 是每个样本都是 n 维向量。
如果存在一个簇质心，没有被分配点。在这种情况下，更常见的事情是移除该簇质心。如果你这样做，你最终得到K-1个簇而不是K个。有时如果你确实需要K个簇，那么你可以重新随机重新初始化那个簇质心，但是移除簇是更常见的。
优化目标（Optimization Objective）
\(c^{(i)}\) = index of cluster(1,2,...,K) to which example \(x^{(i)}\) is currently assigned.
\(\mu_k\) = cluster centroid $ k (\mu_k \in \mathbb{R}^n\()
\)\mu_{c^{(i)}}$ = cluster centroid of cluster to which example \(x^{(i)}\) has been assigned.
K-Means cost function（又称 畸变函数 Distortion function）:
\(J(c^{(1)},...,c^{(m)},μ_1,...,μ_K)=\dfrac {1}{m}\sum\limits^{m}_{i=1}\left\| x^{\left( i\right) }-\mu_{c^{(i)}}\right\| ^{2}\)
K-Meand optimization objective:
K-均值最小化问题，是要最小化所有的数据点与其所关联的聚类中心点之间的距离之和，其中\({{\mu }_{{{c}^{(i)}}}}\)代表与\({{x}^{(i)}}\)最近的聚类中心点。我们的优化目标便是找出使得代价函数最小的 \(c^{(1)},...,c^{(m)}\) 和 \(μ^1,...,μ^k\)：
$\underset{\mu_1,...,\mu_K}{\underset{c{(1)},...,c{(m)}}{min}} J(c{(1)},...,c,μ_1,...,μ_K) $
K-Means 算法在每次迭代（每次迭代都在减小代价函数）过程中：
- 第一个for循环是用来减小 \(c^{(i)}\) 引起的代价
- 第二个for循环则是用来减小 \({{\mu }_{i}}\) 引起的代价。
随机初始化（Random Initialization）
在运行K-均值算法的之前，我们首先要随机初始化所有的聚类中心点，下面介绍怎样做：
-
我们应该选择\(K<m\)，即聚类中心点的个数要小于所有训练集实例的数量
-
随机选择\(K\)个训练实例，然后令\(K\)个聚类中心分别与这\(K\)个训练实例相等
K-均值的一个问题在于，它有可能会停留在一个局部最小值处，而这取决于初始化的情况。
为了解决这个问题，我们通常需要多次运行K-Means算法，每一次都重新进行随机初始化，最后再比较多次运行K-均值的结果，选择代价函数最小的结果。这种方法在\(K\)较小的时候（2~10）还是可行的，但是如果\(K\)较大，这么做也可能不会有明显地改善。
选择聚类数（Choosing the Number of Clusters）
人们在讨论选择聚类数目的方法时，有一个可能会被谈及的方法叫作“肘部法则”。关于“肘部法则”，我们要做的是改变 \(K\) 值，并计算对应的 \(J\)，然后画出它们的曲线。
我们可能会得到一条类似于上图左侧的曲线，看起来就好像人的手臂，而且有一个清楚的肘在那儿。这就是“肘部法则”。你会发现它的畸变值会迅速下降，直到 “肘部（K=3）”时，开始变得平缓。所以看起来使用3个簇来进行聚类是合理的。但是在大多数情况下，你可能会得到上面右边的曲线，从头到尾到很平滑，根本不知道肘部在哪里。
所以，其实没有所谓最好的选择聚类数的方法，通常是需要根据不同的问题，人工进行选择。
选择的时候思考我们运用 K-Means 的动机是什么，然后选择能最好服务于该目标的聚类数。
例如，我们 T-恤 制造的例子，我们要将用户按照身材聚类，我们可以分成3个尺寸:\(S,M,L\)，也可以分成5个尺寸 \(XS,S,M,L,XL\)，这样的选择是在建立在回答了 “聚类后我们制造的 T-恤 能否较好地适合我们的客户” 这个问题基础之上的。
聚类参考资料（可选的）
相似度/距离计算方法总结
(1). 闵可夫斯基距离Minkowski/（其中欧式距离：\(p=2\))
\(dist(X,Y)={{\left( {{\sum\limits_{i=1}^{n}{\left| {{x}_{i}}-{{y}_{i}} \right|}}^{p}} \right)}^{\frac{1}{p}}}\)
(2). 杰卡德相似系数(Jaccard)：
\(J(A,B)=\frac{\left| A\cap B \right|}{\left|A\cup B \right|}\)
(3). 余弦相似度(cosine similarity)：
\(n\)维向量\(x\)和\(y\)的夹角记做\(\theta\)，根据余弦定理，其余弦值为：
\(cos (\theta )=\frac{{{x}^{T}}y}{\left|x \right|\cdot \left| y \right|}=\frac{\sum\limits_{i=1}^{n}{{{x}_{i}}{{y}_{i}}}}{\sqrt{\sum\limits_{i=1}^{n}{{{x}_{i}}^{2}}}\sqrt{\sum\limits_{i=1}^{n}{{{y}_{i}}^{2}}}}\)
(4). Pearson皮尔逊相关系数：
\({{\rho }_{XY}}=\frac{\operatorname{cov}(X,Y)}{{{\sigma }_{X}}{{\sigma }_{Y}}}=\frac{E[(X-{{\mu }_{X}})(Y-{{\mu }_{Y}})]}{{{\sigma }_{X}}{{\sigma }_{Y}}}=\frac{\sum\limits_{i=1}^{n}{(x-{{\mu }_{X}})(y-{{\mu }_{Y}})}}{\sqrt{\sum\limits_{i=1}^{n}{{{(x-{{\mu }_{X}})}^{2}}}}\sqrt{\sum\limits_{i=1}^{n}{{{(y-{{\mu }_{Y}})}^{2}}}}}\)
Pearson相关系数即将\(x\)、\(y\)坐标向量各自平移到原点后的夹角余弦。
聚类的衡量指标
(1). 均一性：\(p\)
类似于精确率，一个簇中只包含一个类别的样本，则满足均一性。其实也可以认为就是正确率(每个 聚簇中正确分类的样本数占该聚簇总样本数的比例和)
(2). 完整性：\(r\)
类似于召回率，同类别样本被归类到相同簇中，则满足完整性;每个聚簇中正确分类的样本数占该
类型的总样本数比例的和
(3). V-measure:
均一性和完整性的加权平均
\(V = \frac{(1+\beta^2)*pr}{\beta^2*p+r}\)
(4). 轮廓系数
样本\(i\)的轮廓系数：\(s(i)\)
簇内不相似度:计算样本\(i\)到同簇其它样本的平均距离为\(a(i)\)，应尽可能小。
簇间不相似度:计算样本\(i\)到其它簇\(C_j\)的所有样本的平均距离\(b_{ij}\)，应尽可能大。
轮廓系数：\(s(i)\)值越接近1表示样本\(i\)聚类越合理，越接近-1，表示样本\(i\)应该分类到 另外的簇中，近似为0，表示样本\(i\)应该在边界上;所有样本的\(s(i)\)的均值被成为聚类结果的轮廓系数。
\(s(i) = \frac{b(i)-a(i)}{max\{a(i),b(i)\}}\)
(5). ARI
数据集\(S\)共有\(N\)个元素， 两个聚类结果分别是：
\(X=\{{{X}_{1}},{{X}_{2}},...,{{X}_{r}}\},Y=\{{{Y}_{1}},{{Y}_{2}},...,{{Y}_{s}}\}\)
\(X\)和\(Y\)的元素个数为：
\(a=\{{{a}_{1}},{{a}_{2}},...,{{a}_{r}}\},b=\{{{b}_{1}},{{b}_{2}},...,{{b}_{s}}\}\)
记：\({{n}_{ij}}=\left| {{X}_{i}}\cap {{Y}_{i}} \right|\)
\(ARI=\frac{\sum\limits_{i,j}{C_{{{n}_{ij}}}^{2}}-\left[ \left( \sum\limits_{i}{C_{{{a}_{i}}}^{2}} \right)\cdot \left( \sum\limits_{i}{C_{{{b}_{i}}}^{2}} \right) \right]/C_{n}^{2}}{\frac{1}{2}\left[ \left( \sum\limits_{i}{C_{{{a}_{i}}}^{2}} \right)+\left( \sum\limits_{i}{C_{{{b}_{i}}}^{2}} \right) \right]-\left[ \left( \sum\limits_{i}{C_{{{a}_{i}}}^{2}} \right)\cdot \left( \sum\limits_{i}{C_{{{b}_{i}}}^{2}} \right) \right]/C_{n}^{2}}\)
程序代码
直接查看K-Means Clustering.ipynb可点击
获取源码以其他文件，可点击右上角 Fork me on GitHub 自行 Clone。
