记录近期小改K-Means至MapReduce上的心得

背景：

    在所有聚类算法中KMeans算是表面上最简单的一种，没有过多恼人的古希腊符号公式，没有过分繁杂的公式嵌套。对于一个初学矩阵或者仅有向量概念的非专业人士的来说，不可不畏是一把踹门利器。这个世界上越是简单的东西，其实越是复杂，尤其在笔者将其改造成MapReduce时，发现并非那么容易一跃而过。虽然有现成的代码供把玩，但是对于练手还是值得一试。

 

心得：

· 纯理论一笔带过

    KMean的大致实现过程就是任意指定N个的质心，然后对所有星星进行遍历，寻找与这个N个质心距离最近欧几里得距离的星星，将其归为一类，再从这一类中重新计算N个质心坐标属性。直至这N个质心坐标变化DELTA小至自己设定的阀值。

· 一些心得

1. 网上对于KMEAN的算法有很多，大多数集中于（2质心+2维+单机）版本。要想支持（N质心+N维+MP）着实需要重新好好考虑程序架构，当然更NB者还能支持多线程。
2. 嵌套问题是目前大多数非JAVA Hadoop计算的一道门槛，即便是JAVA类本身在JOB CHAIN上也常常会碰到傻傻分不清的情况。对于10G以上数据如何在MP上发挥最大功效，就是减少JOB和TASK之间来回SHUFFLE。
3. 既期望一次MP，完成整个运算，同时将负载尽可能在Map阶段进行压榨。也因此，笔者在假设数据完全散列的情况下完成每组TASK的计算，已期望得到N个K（质心）离开最终质心近似向量值。在Reduce阶段粗暴地对N个K做归类，再做算术平均，再做一把全两项遍历，最后得出N个类。难就难在对N个TASK的K做重新归类
4. 由于主要通过Streaming来计算，整个对于Hadoop的I/O还是有较大负荷。
5. 下面两幅图简单介绍下K-Means聚合过程。左边是2个质心2维，右边是3个质心2维。

                       

 

DATA：

 

X      Y
29    12
21    33
23    23
25    23
33    24
22    36
23    12
16    20
23    32
33    10
26    23
32    14
33    7
38    4
13    33
65    77
43    63
81    87
72    64
54    71
61    67
81    58
57    81
54    79
50    82
53    62
74    58
77    55
69    81
70    82
44    55
60    58