k-Means算法(Machine Learning in Action)基于python3.6

K-均值算法首先随机确定k个初始点作为质心，为每个点找距其最近的质心，并将分配给质心所对应的簇，然后每个簇的质心更新为该簇所有点的平均值。

优点：容易实现

缺点：可能收敛到局部最小值，在大规模数据集上收敛较慢

适用数据类型：数值型数据

'''
    创建k个点作为起始质心（经常是随机选择）
    当任意一个点的簇分配结果发生改变时
        对数据集中的每个数据点
            对每个质心
                计算质心与数据点之间的距离
            将数据点分配到距其最近的簇
        对每一个簇，计算簇中所有点的均值并将均值作为质心
'''
from numpy import *
#读取文本文件到一个列表中
def loadDataSet(filename):
    dataMat=[]
    fr = open(filename)
    for line in fr.readlines():
        curline = line.strip().split('\t')
        fltline = list(map(float,curline))
        dataMat.append(fltline)
    return dataMat

#求欧式距离
def distEclud(vecA, vecB):
    return sqrt(sum(power(vecA - vecB, 2)))

#构建簇质心
def randCent(dataSet, k):
    n = shape(dataSet)[1]#列表列数
    centroids = mat(zeros((k,n)))
    for j in range(n):
        minJ = min(dataSet[:,j])#第j列的最小值
        maxJ = max(dataSet[:,j])#第j列的最大值
        rangeJ = float(maxJ - minJ)#第j列的变化范围
        centroids[:,j] = mat(minJ + rangeJ * random.rand(k,1))#生成在边界内的随机数
    return centroids

datMat = mat(loadDataSet('testSet.txt'))
''' test----------------------------------------
print(min(datMat[:,0]))
print(min(datMat[:,1]))
print(max(datMat[:,0]))
print(max(datMat[:,1]))
print(randCent(datMat, 2))
print(distEclud(datMat[0], datMat[1]))

'''
'''
    core code：
    计算质心-分配-重新计算
'''
#分别是数据集，聚类类数，距离函数，创建初始质心函数）
def kMeans(dataSet, k, distMeas=distEclud, createCent=randCent):
    m = shape(dataSet)[0]#行数
    result = mat(zeros((m,2)))#结果矩阵，一列记录簇索引值，一列记录存储误差（当前点到簇质心的距离）
    centroids = createCent(dataSet, k)#簇质心
    changed = True#标志变量，如果为True,继续迭代，若任一点簇分配结果发生变化，更新changed
    while changed:
        changed = False
        for i in range(m):
            minDist = inf#正负无穷
            minIndex = -1
            #寻找最近的质心
            for j in range(k):
                distJI = distMeas(centroids[j,:],dataSet[i,:])#算点到每一个质心的距离
                if distJI < minDist:
                    minDist = distJI; minIndex = j
            if result[i,0] != minIndex: changed = True#如果更新后的结果矩阵簇索引值与原来的不同，标志位置为True
            result[i,:] = minIndex,minDist ** 2#结果矩阵此时这一行第一列为点到质心距离最小的那一个质心，第二列为距离的平方
        #更新质心的位置
        print(centroids)
        for cent in range(k):
            ptsInClust = dataSet[nonzero(result[:,0].A == cent)[0]]#.A变成数组,获取给定簇的所有点
            centroids[cent,:] = mean(ptsInClust, axis = 0)#按列方向求均值
    return centroids, result

# test------------------------------------------------
myCentroids, result = kMeans(datMat,4)
print(myCentroids)
print('\n')
print(result)