聚类算法之k-均值聚类

k-均值聚类算法

Kmeans算法是最常用的聚类算法，主要思想是:在给定K值和K个初始类簇中心点的情况下，把每个点(亦即数据记录)分到离其最近的类簇中心点所代表的类簇中，所有点分配完毕之后，根据一个类簇内的所有点重新计算该类簇的中心点(取平均值)，然后再迭代的进行分配点和更新类簇中心点的步骤，直至类簇中心点的变化很小，或者达到指定的迭代次数。

K-Means算法如何工作？

输入：样本集D，簇的数目k，最大迭代次数N；

输出：簇划分（k个簇，使平方误差最小）；

算法步骤：

（1）为每个聚类选择一个初始聚类中心；

（2）将样本集按照最小距离原则分配到最邻近聚类；

（3）使用每个聚类的样本均值更新聚类中心；

（4）重复步骤（2）、（3），直到聚类中心不再发生变化；

（5）输出最终的聚类中心和k个簇划分；

 

原理

1.随机选取K个点为分类中心点；

2.将每个点分配到最近的类，这样形成了K个类；

3.重新计算每个类的中心点。比如都属于同一个类别里面有10个点，那么新的中心点就是这10个点的中心点，一种简单的方式就是取平均值。

 

比喻说明

1.选老大

大家随机选K个老大，谁离得近，就是那个队列的人（计算距离，距离近的人聚合在一起）。

随着时间的推移，老大的位置在变化（根据算法，重新计算中心点），直到选出真正的中心老大（重复，直到准确率最高）

2.Kmeans和Knn的区别

Kmeans开班选老大，风水轮流转，直到选出最佳中心老大；

 

优点：容易实现

缺点：k值的选择是用户指定的，不同的k得到的结果会有挺大的不同，对k个初始质心的选择比较敏感，容易陷入局部最小值

 

 

适用数据类型：数值型数据

其工作流程：首先，随机确定k个初始点作为质心，然后将数据集中的每个点分配到一个簇中，具体来讲，为每个点找距离其最近的质心，并将其分配给该质心所对应的簇。完成之后，每个簇的质心更新为该簇所有点的平均值。

K-means是一个聚类算法，是无监督学习，生成指定K个类，把每个对象分配给距离最近的聚类中心。

代码实现：

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
from sklearn.datasets.samples_generator import make_blobs
# X为样本特征，Y为样本簇类别， 共1000个样本，每个样本2个特征，共4个簇，簇中心在[-1,-1], [0,0],[1,1], [2,2]， 簇方差分别为[0.4, 0.2, 0.2]
X, y = make_blobs(n_samples=1000, n_features=2, centers=[[-1,-1], [0,0], [1,1], [2,2]], cluster_std=[0.4, 0.2, 0.2, 0.2], 
                  random_state =9)
plt.scatter(X[:, 0], X[:, 1], marker='o')
plt.show()

#用K-Means聚类方法来做聚类，首先选择k=2
from sklearn.cluster import KMeans
y_pred = KMeans(n_clusters=2, random_state=9).fit_predict(X)
plt.scatter(X[:, 0], X[:, 1], c=y_pred)
plt.show()

#用Calinski-Harabasz Index评估的聚类分数
from sklearn import metrics
metrics.calinski_harabaz_score(X, y_pred)  


#k=3来看看聚类效果
from sklearn.cluster import KMeans
y_pred = KMeans(n_clusters=3, random_state=9).fit_predict(X)
plt.scatter(X[:, 0], X[:, 1], c=y_pred)
plt.show()　　

#用Calinski-Harabaz Index评估的k=3时候聚类分数
metrics.calinski_harabaz_score(X, y_pred)  

#看看k=4时候的聚类效果
from sklearn.cluster import KMeans
y_pred = KMeans(n_clusters=4, random_state=9).fit_predict(X)
plt.scatter(X[:, 0], X[:, 1], c=y_pred)
plt.show()

metrics.calinski_harabaz_score(X, y_pred) 

#看看用MiniBatchKMeans的效果，我们将batch size设置为200. 由于我们的4个簇都是凸
#的，所以其实batch size的值只要不是非常的小，对聚类的效果影响不大。
for index, k in enumerate((2,3,4,5)):
    plt.subplot(2,2,index+1)
    y_pred = MiniBatchKMeans(n_clusters=k, batch_size = 200, random_state=9).fit_predict(X)
    score= metrics.calinski_harabaz_score(X, y_pred)  
    plt.scatter(X[:, 0], X[:, 1], c=y_pred)
    plt.text(.99, .01, ('k=%d, score: %.2f' % (k,score)),
                 transform=plt.gca().transAxes, size=10,
                 horizontalalignment='right')
plt.show()

 

 

 

参考资料：

1、https://www.cnblogs.com/chenqionghe/p/12301905.html

2、https://www.cnblogs.com/pinard/p/6164214.html

3、https://www.cnblogs.com/pinard/p/6169370.html

4、https://www.zhihu.com/question/29208148/answer/2061775028

5、https://zhuanlan.zhihu.com/p/75477709