K-MEANS-算法-简述

1. 算法流程

    输入：聚类个数k，以及包含 n个数据对象的数据库。   输出：满足方差最小标准的k个聚类。
　（1）从n个数据对象任意选择k个对象作为初始聚类中心
   （2）计算每个对象与聚类中心的距离；并根据最小距离重新对相应对象进行划分
   （3）重新计算每个聚类的均值作为新的聚类中心
   （4）循环（2）到（3）直到每个聚类不再发生变化为止

2. 算法分析

    K-Means的优化目标可以表示为：
   
    其中，x_n表示数据对象，μ_k表示中心点，r_nk在数据点n分配到类别k的时候为1，没有分配到类别k的时候为0。

    整个算法通过迭代计算，找到合适的r_nk和μ_k来，使得J最小。
    算法流程的第二步，固定μ_k，更新r_nk，将每个数据对象放到与其最近的聚类中心的类别中，自然这一步能够保证在固定μ_k的情况下，J的值降到了最小。
    算法流程的第三步，固定r_nk，更新μ_k，此时J对μ_k（实际上是μ_0,μ_1,...分别求导）求导并令结果等于零，得到：
     
    即，当新的中心点取每个类别中的中心值的时候，每个类别内部的标准距离下降最多。J是所有类别距离内部的距离之和，因此保证了的固定r_nk的情况下，J的值降到了最小。
    两个步骤，J的值都在下降，随着迭代次数增加J的值会下降到一个极小值。

3. 结束条件

    K-Means迭代的条件可以有如下几个：
    · 每个聚类内部元素不在变化，这是最理想的情况了。
    · 前后两次迭代，J的值相差小于某个阈值。
    · 迭代超过一定的次数。

4. 缺点

    · K值的设定难以估计，如果数据实际上是10个类别，设K=20，那么得到的结果很可能不好，如果设K=10，那么得到的结果很可能会很好。
    · K确定了以后，初始中心也是一个问题，K个中心一旦选定了，就决定了聚类结果，选的好，聚类出来的结果就好。
    个人认为主要的缺点是这两个，相应的也有一些改进方法，这里不涉及了，具体可参见参考中的百度百科_K-Means。

5. 重点

    本文主要重点有两个：
    K-Means的三个结束条件（不变化，J值变化较小，迭代次数）和两个缺点（K值，K个中心点）。

6. 参考

    百度百科_K-MEANS    http://baike.baidu.com/view/31854.htm
    百度百科_K-Means    http://baike.baidu.com/view/3066906.htm
    漫谈 Clustering (1): k-means   http://blog.pluskid.org/?p=17#comments