k-Means 算法分析

本人小白，第一次发布博客，大神绕路，不喜勿喷。

最近公司要求一些机器学习的内容，所以在看一些机器学习有关的资料，最近看的书名字叫做 机器学习实战。这是一本不错的书籍，很值得一读。

好，不说废话，进入我们今天的正题。

k-均值算法（k-means算法）

1.k-means算法是一种聚类算法。

何为聚类？聚类就是你在分类之前并不知道有几类，也不知道分别是哪几类，而让计算机根据数据的特征分成不同的几个类别，这些类别没有进行事先定义。这种分类方法又被称为无监督分类。

2.算法思想

在数据集中随机选取k个初始点作为质心，将数据集中的每一个点分配到一个簇中，为每个点找距离其最近的质心，将其分配到该质心所对应的簇，这一步完成之后，每个簇的质心更新为该簇所有点的平均值。到这里初始质心已经发生变化，重复以上步骤n次直到之心不再发生变化为止。

3.Python实现

# coding=utf-8

from numpy import *
import matplotlib
import matplotlib.pyplot as plt
import operator
from os import listdir
import time

　　

初始化数据集

def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0],
                   [0, 0], [0, 0.1],
                   [2, 1.0], [2.1, 0.9],
                   [0.3, 0.0], [1.1, 0.9],
                   [2.2, 1.0], [2.1, 0.8],
                   [3.3, 3.5], [2.1, 0.9],
                   [2, 1.0], [2.1, 0.9],
                   [3.5, 3.4], [3.6, 3.5]
                   ])
    return group

　　

#自己写的画图函数，每次都会画出初始数据集的点（红色），和要观察的点。

def show(data,color=None):
    if not color:
        color='green'
    group=createDataSet()
    fig = plt.figure(1)
    axes = fig.add_subplot(111)
    axes.scatter(group[:, 0], group[:, 1], s=40, c='red')
    axes.scatter(data[:, 0], data[:, 1], s=50, c=color)
    plt.show()

　　

代码取自机器学习实战第二章，在此加上我对这些代码的理解

def distEclud(vecA, vecB):
    return sqrt(sum(power(vecA - vecB, 2)))  #计算两点之间的欧氏距离

　　

由于数据量级之间的差异会对影响度造成干扰，所以要对初始数据做数据归一化处理。

def randCent(dataSet, k):       #数据归一化处理
    n = shape(dataSet)[1]
    centroids = mat(zeros((k, n)))  # create centroid mat
    for j in range(n):  # create random cluster centers, within bounds of each dimension
        minJ = min(dataSet[:, j])
        rangeJ = float(max(dataSet[:, j]) - minJ)
        centroids[:, j] = mat(minJ + rangeJ * random.rand(k, 1))
    return centroids

　　

shape(dataSet)是numpy库的一个方法，返回的是一个n维矩阵依次的维度。比如dataset=[[1,2,3],[2,4,5]] 的话，那么shape(dataset)=(2,3)

mat 方法是初始化矩阵

接下来是kmeans函数

def kMeans(dataSet, k, distMeas=distEclud, createCent=randCent): #参数dataSet是待聚类数据矩阵，k是聚类类数
    m = dataSet.shape[0]　　#训练集中含有点的个数
    clusterAssment = zeros((m, 2))  #初始化结果集，个数等于训练集中点的个数
    centroids = createCent(dataSet, k)
    # print centroids
    # show(centroids)　#matplotlib画图展示训练数据分布  
    clusterChanged = True　　#标记参数，用来检测每次循环后质心位置是否还会发生变化
    while clusterChanged:
        clusterChanged = False

        for i in range(m):　　　　　　
            point = dataSet[i, :]  # 遍历数据集中的每个点
            mindist = inf　　　　　　#inf 是Python中的正无穷
            minindex = -1　　　　　　#随机定义一个序号，此序号用来表示每个点与哪个质心的距离最近，是质心的序号，初始随便取个负数就好

            for n in range(k):
                heart = centroids[n, :]  # 遍历每个质心
                distance = distMeas(point, heart)  # 求点与质心距离
                if distance < mindist:　#如果此质心的距离比当前最小距离小
                    mindist = distance  # 更新最小距离mindist
                    minindex = n  # 更新最小距离的质心序号

            if clusterAssment[i, 0] != minindex: clusterChanged = True 如果质心的序号发生变化，改变标记数据
            clusterAssment[i, :] = minindex, mindist ** 2  # 将第i个点存为（最近质心序号，此点到质心距离的平方）
        # print clusterAssment
        for cent in range(k):#遍历数据集，更新质心的位置
            ptsInClust = dataSet[(clusterAssment[:, 0] == cent)]  # 取出该质心绑定的点
            # print ptsInClust
            if len(ptsInClust):
                centroids[cent, :] = mean(ptsInClust, axis=0)  # 取出点的均值
            else:
                centroids[cent, :] = array([[0, 0]])
        show(centroids,color='green')  #作图画出此次循环后质心的变化情况
        # print centroids
        # print "----------------"

    # show(centroids)
    return centroids, clusterAssment  #返回质心，以及各个点的信息

centroids, clusterAssment=kMeans(createDataSet(),4)　　#聚类为4类
show(centroids,color='yellow')　　#聚类结果展示为黄色点

　　

图片

初始数据集以及初始随机选取质心

一种结果比较完美

 

尝试几次会出现以下不尽如人意的结果

    以上就是kmeans的具体实现方法，但这个方法并不尽人意，多次执行会发现聚类得到的点并不稳定，也不是每次都能得到我们想要的最佳结果，这是因为这个算法只能达到局部最优，不能保证全局最优，而这个原因就在于我们不能保证我们出是选取到的点是最佳的点。当然也是有改进方法的，我会继续更新下一节二分 k-均值算法