聚类--K均值算法:自主实现与sklearn.cluster.KMeans调用
1.用python实现K均值算法
K-means是一个反复迭代的过程,算法分为四个步骤:
(x,k,y)
1) 选取数据空间中的K个对象作为初始中心,每个对象代表一个聚类中心;
def initcenter(x, k): kc
2) 对于样本中的数据对象,根据它们与这些聚类中心的欧氏距离,按距离最近的准则将它们分到距离它们最近的聚类中心(最相似)所对应的类;
def nearest(kc, x[i]): j
def xclassify(x, y, kc):y[i]=j
import numpy as np x = np.random.randint(1,100,20)#产生的20个一到一百的随机整数 y = np.zeros(20) k = 3 print(x) print(y) def initcenter(x,k):#初始化聚类中心数组 return x[0:k].reshape(k) kc = initcenter(x,k) print(kc) def nearest(kc, i):#定义函数求出kc与i之差最小的数的坐标 d = (abs(kc - i)) w = np.where(d == np.min(d)) return w[0][0] # print(nearest(kc,66)) # for i in range(x.shape[0]): # y[i] = nearest(kc,x[i]) # print(y) def xclassify(x, y, kc):#按距离最近的准则将它们分到距离它们最近的聚类中心(最相似)所对应的类 for i in range(x.shape[0]): y[i] = nearest(kc,x[i]) return y y = xclassify(x,y,kc) print(x) print(y)
3) 更新聚类中心:将每个类别中所有对象所对应的均值作为该类别的聚类中心,计算目标函数的值;
def kcmean(x, y, kc, k):
4) 判断聚类中心和目标函数的值是否发生改变,若不变,则输出结果,若改变,则返回2)。
while flag:
y = xclassify(x, y, kc)
kc, flag = kcmean(x, y, kc, k)
def kcmean(x, y, kc, k):#更新聚类中心:将每个类别中所有对象所对应的均值作为该类别的聚类中心,计算目标函数的值 l = list(kc) flag = False for c in range(k): m = np.where(y == c) n = np.mean(x[m]) if l[c] != n: l[c] = n flag = True # 聚类中心发生变化 print(l, flag) return (np.array(l), flag) k = 3 kc = initcenter(x, k) flag = True print(x, y, kc, flag) while flag:# 判断聚类中心和目标函数的值是否发生改变,若不变,则输出结果,若改变,则返回2 y = xclassify(x, y, kc) kc, flag = kcmean(x, y, kc, k) print(y, kc, type(kc)) print(x, y) import matplotlib.pyplot as plt plt.scatter(x, x, c=y, s=50, cmap='rainbow',marker='*'); plt.show()
2. 鸢尾花花瓣长度数据做聚类并用散点图显示。
3. 用sklearn.cluster.KMeans,鸢尾花花瓣长度数据做聚类并用散点图显示.
4. 鸢尾花完整数据做聚类并用散点图显示.
# 鸢尾花花瓣长度数据做聚类并用散点图显示。 import numpy as np from sklearn.datasets import load_iris iris = load_iris() x = iris.data[:, 2] y = np.zeros(150) def initcenter(x, k): # 初始聚类中心数组 return x[:k] def nearest(kc, i): # 数组中的值,与聚类中心最小距离所在类别的索引号 d = (abs(kc - i)) w = np.where(d == np.min(d)) return w[0][0] def xclassify(x, y, kc): for i in range(x.shape[0]): # 对数组的每个值进行分类,shape[0]读取矩阵第一维度的长度 y[i] = nearest(kc, x[i]) return y def kcmean(x, y, kc, k): # 计算各聚类新均值 l = list(kc) flag = False for c in range(k): print(c) m = np.where(y == c) if len(m) == 1: n = x[c] else: n = np.mean(x[m]) if l[c] != n: l[c] = n flag = True # 聚类中心发生变化 print(l, flag) return (np.array(l), flag) k = 3 kc = initcenter(x, k) flag = True print(x, y, kc, flag) # 判断聚类中心和目标函数的值是否发生改变,若不变,则输出结果,若改变,则返回2 while flag: y = xclassify(x, y, kc) kc, flag = kcmean(x, y, kc, k) print(y, kc, type(kc)) print(x, y) import matplotlib.pyplot as plt plt.scatter(x, x, c=y, s=50, cmap="rainbow",marker='*'); plt.show() #用sklearn.cluster.KMeans,鸢尾花花瓣长度数据做聚类并用散点图显示,鸢尾花完整数据做聚类并用散点图显示。 from sklearn.cluster import KMeans import numpy as np from sklearn.datasets import load_iris import matplotlib.pyplot as plt data = load_iris() iris = data.data petal_len = iris[:,2:3] print(petal_len) k_means = KMeans(n_clusters=3) #三个聚类中心 result = k_means.fit(petal_len) #Kmeans自动分类 kc = result.cluster_centers_ #自动分类后的聚类中心 y_means = k_means.predict(petal_len) #预测Y值 plt.scatter(petal_len,np.linspace(1,150,150),c=y_means,marker='+') plt.show() #4. 鸢尾花完整数据做聚类并用散点图显示. from sklearn.cluster import KMeans import numpy as np from sklearn.datasets import load_iris import matplotlib.pyplot as plt data = load_iris() iris = data.data petal_len = iris print(petal_len) k_means = KMeans(n_clusters=3) #三个聚类中心 result = k_means.fit(petal_len) #Kmeans自动分类 kc = result.cluster_centers_ #自动分类后的聚类中心 y_means = k_means.predict(petal_len) #预测Y值 plt.scatter(petal_len[:,0],petal_len[:,2],c=y_means,marker='x') plt.show()