retrival and clustering : week 3 k-means 笔记

华盛顿大学 machine learning 笔记。

K-means algorithm

算法步骤：

　0. 初始化几个聚类中心（cluster centers）μ1，μ2, … , μk

　1. 将所有数据点分配给最近的聚类中心;

　2. 将每个聚类中心的值改成分配到该点所有数据点的均值;

　3. 重复1-2步骤，直到收敛到局部最优(local optimium).

#输入： 
        #数据集 data
        #集群数 k
        #初始集群中心组 initial_centroids
        #最多循环次数 maxiter
#输出：
        #集群中心组 centroids
        #数据点分配情况 cluster_assignment
def kmeans(data, k, initial_centroids, maxiter):
    centroids = initial_centroids[:]
    prev_cluster_assignment = None
    
    for itr in xrange(maxiter):
        
        # 计算各数据点到各个centroid的距离
        distances_from_centroids = pairwise_distances(data, centroids, metric='euclidean')
        # 将数据点分配到各个centroid
        cluster_assignment = np.argmin(distances_from_centroids, axis = 1)
       
        # 将每个centroid的值改成分配到该点的所有数据点的均值
        new_centroids = []
        for i in xrange(k):
            member_data_points = data[cluster_assignment == i]
            centroid = member_data_points.mean(axis = 0)
            # 格式转换
            centroid = centroid.A1
            new_centroids.append(centroid)
        new_centroids = np.array(new_centroids)
        centroids = new_centroids
        
        # 判断是否收敛到局部最优
        if prev_cluster_assignment is not None and \
          (prev_cluster_assignment==cluster_assignment).all():
            break
        
        prev_cluster_assignment = cluster_assignment[:]
        
    return centroids, cluster_assignment

问题1：算法结果为局部最优，受初始化选择的聚类中心影响很大，如何初始化？

k-means ++:

　　1.第一个聚类中心从随机点中随机选择。

　　2.对于每个数据点，计算到最近集群中心的距离。

　　3.从数据点中选择新的集群中心，数据点选择概率与它离最近的集群中心的距离成比例（使centroids之间离得越远越好）。

　　4.重复步骤2和3，直到k个中心全被选中。

特点：

　　随机初始化计算成本相对较高，但随后通常会更迅速地收敛，局部最优质量更高，运行时间短。

def smart_initialize(data, k):
    # k-means++ 方法 得到初始的centroids组
    centroids = np.zeros((k, data.shape[1]))
    
    # 随机选择第一个centroid
    idx = np.random.randint(data.shape[0])
    centroids[0] = data[idx,:].toarray()
    
    # 计算其他数据点到第一个centroid的距离
    squared_distances = pairwise_distances(data, centroids[0:1], metric='euclidean').flatten()**2
    
    # 选择接下来的 k-1 个centroids
    # 每个数据点被选中的概率与它离最近的centroid的距离成比例（即使得centroids之间离得越远越好）
    for i in xrange(1, k):
        idx = np.random.choice(data.shape[0], 1, p=squared_distances/sum(squared_distances))
        centroids[i] = data[idx,:].toarray()
        # 更新每个数据点离已选择的centroids的距离
        squared_distances = np.min(pairwise_distances(data, centroids[0:i+1], metric='euclidean')**2,axis=1)
    
    return centroids