评价聚类结果之entropy（熵值）和purity（纯度）https://blog.csdn.net/vernice/article/details/46467449

使用k-means算法对数据进行聚类之后，通常需要验证一下聚类的效果。常用的验证方法包括entropy、purity、precious、F-measure、Recall，本文只介绍entropy和purity算法。

 

Entropy：

对于一个聚类i，首先计算。指的是聚类 i 中的成员（member）属于类（class）j 的概率，。其中是在聚类 i 中所有成员的个数，是聚类 i 中的成员属于类 j 的个数。每个聚类的entropy可以表示为，其中L是类（class）的个数。整个聚类划分的entropy为，其中K是聚类（cluster）的数目，m是整个聚类划分所涉及到的成员个数。

 

 

 

Purity：

使用上述Entropy中的定义，我们将聚类 i 的purity定义为。整个聚类划分的purity为，其中K是聚类（cluster）的数目，m是整个聚类划分所涉及到的成员个数。

 

下表是对取自洛杉矶时报的3204篇文章进行的k-means划分的结果，共分为6个cluster。这些文章取自娱乐、金融等六个类别。理想情况下每个cluster只含有某一特定类别的文章。其中，cluster 3 与体育类别吻合的比较好，所以其entropy很低，purity很高。

 

entropy和purity的核心代码（Python version）如下：

e_i = [0 for x in range(0,6)]
p_i = [0 for x in range(0,6)]
for i in range(0,cluster_num):
wr_line_part = ","
for j in range(0,6):
wr_line_part += str(M_aggregate[i][j]) + ','
p_i_j = M_aggregate[i][j]*1.0/m_i[i] + 0.00000001
print (p_i_j)
e_i[i] += 0 - p_i_j*math.log2(p_i_j)
if (p_i[i] < p_i_j):
p_i[i] = p_i_j
print (e_i[i])
print (p_i[i])

e = 0
p = 0
for i in range(0,6):
e += m_i[i]/m*e_i[i]
p += m_i[i]/m*p_i[i]

————————————————
版权声明：本文为CSDN博主「Yunhe_Feng」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/vernice/article/details/46467449