NLP之熵相关概念

以下内容基本来自于《统计自然语言处理》：

熵又称为自信息（self-information），可以视为描述一个随机变量 的不确定性的数量。它表示信源X每发一个符号（不论发什么符号）所 提供的平均信息量［姜丹，2001］。一个随机变量的熵越大，它的不确 定性越大，那么，正确估计其值的可能性就越小。越不确定的随机变量越需要大的信息量用以确定其值。

 

联合熵： H(X,Y) = H(X) + H(Y|X) ——熵的连锁规则，描述一对随机变量平均所需的信息量

互信息：根据熵的连锁规则，H(X,Y )= H(X) + H(Y|X) = H(Y) + H(X|Y)

所以有H(X)-H(X|Y) = H(Y)-H(Y|X) ----X和Y的互信息I(X; Y)=H(X)-H(X|Y)

反映了在指定了Y值以后，X不确定性的减少量，或者说，Y透露了多少X的信息量

                   

        如果I(X;Y)=0，表明X、Y相互独立，如果>0，表面是相关的

相对熵：衡量两个概率分布相对差距的测度。 当两个随机分布完全相同时，相对熵0。两个概率分布p(x)和q(x)的相对熵定义为D(p || q)

交叉熵：用来衡量估计模型与真实概率分布直接的差异情况的，如果一个随机变量X~p(x),q(x)为近似p(x)的概率分布，那么随机变量X和模型q之间的交叉熵为H(X,q) = H(X) + D(p||q)