Normalized Mutual Information(NMI, 归一化互信息)

Normalized Mutual Information(NMI, 归一化互信息)

• 值域是 $[0,1]$，值越高表示两个聚类结果越相似。归一化是指将两个聚类结果的相似性值定量到 $0\sim 1$ 之间。

$$\text{NMI}=\frac{2\sum _i\sum _j{n}_{ij}ln\frac{n_{ij}N}{n_i{n}_j}}{-\sum _i{n}_{i}ln\frac{n_i}{N}-\sum _j{n}_{j}ln\frac{n_j}{N}}$$

$$\text{NMI(Y,C)}=\frac{2\times I(Y;C)}{H(Y)+H(C)}$$

• 其中Y代表数据真实的类别；C表示聚类的结果。
• $H(\cdot )$ 表示信息熵，$H(X)=-\sum _{i=1}^{N}p(i)\log p(i)$，此处的 $log$ 以2为底。
• $I(Y;C)$ 代表互信息， $I(Y;C)=H(Y)-H(Y|C)$ ，互信息是信息论里的一种信息度量，可以看成是一个随机变量中包含的关于另一个随机变量的信息量。

例子

假定共有20个样本，真实类簇为3个，而模型学习得到2个类簇，如下：

1. 计算 $Y$ 的信息熵 $H(Y)$

   H(Y) 表示数据真实标签的交叉熵，它是一个固定的值。可以在聚类之前计算出。

   $$\begin{array}{rl}H(Y)& =-\sum _{y=1}^{3}P(Y=y)logP(Y=y)\\ & =-(\frac{1}{4}log(\frac{1}{4})+\frac{1}{4}log(\frac{1}{4})+\frac{1}{2}log(\frac{1}{2}))\\ & =1.5bit\end{array}$$

2. 计算 $C$ 的信息熵
   𝐻(𝐶)表示数据聚类后标签的交叉熵，每得到一个聚类结果都需要计算一下。

   $$\begin{array}{rl}H(C)& =-\sum _{c=1}^{2}P(C=c)logP(C=c)\\ & =-(\frac{1}{2}log(\frac{1}{2})+\frac{1}{2}log(\frac{1}{2}))\\ & =1bit\end{array}$$

3. 计算 $Y$ 和 $C$ 的互信息

   $$\begin{array}{rl}H(Y|C)& =H(Y|C=1)+H(Y|C=2)\\ & =-P(C=1)\sum _{y=1}^{3}P(Y=y|C=1)logP(Y=y|C=1)\\ & -P(C=2)\sum _{y=1}^{3}P(Y=y|C=2)logP(Y=y|C=2)\\ & =-\frac{1}{2}(\frac{3}{10}log(\frac{3}{10})+\frac{3}{10}log(\frac{3}{10})+\frac{4}{10}log(\frac{4}{10})\\ & +\frac{2}{10}log(\frac{2}{10})+\frac{7}{10}log(\frac{7}{10})+\frac{1}{10}log(\frac{1}{10}))\\ & =1.3639bit\end{array}$$
   $$\begin{array}{rl}I(Y;C)& =H(Y)-H(Y|C)\\ & =1.5-1.3639\\ & =0.1361bit\end{array}$$

4. 计算 $Y$ 和 $C$ 的归一化互信息

$$\begin{array}{rl}\text{NMI(Y,C)}& =\frac{2\times I(Y;C)}{H(Y)+H(C)}\\ & =\frac{2\times 0.1361}{1.5+1}\\ & =0.1089\end{array}$$