熵 交叉熵 相对熵

1.熵（Shann Entropy）

熵又叫信息熵，香农熵，反映了一个系统的有序（无序）的程度。整个世界都是倾向于从有序到无序，从稳态到混乱，熵值从低到高。设随机变量$X$的取值为$X={x_0,x_1,x_2,......x_n}$，对应概率表达为$p(X=x_i)$，则$X$的熵可表示为：

 

$H(X) = \sum_{i=1}^np(x_i)logp(x_i)$

 

2.相对熵（Relative Entropy）

又叫互熵，KL散度，用来描述两个随机变量之间的距离（不相似性）。设$p(x)$,$q(x)$为$X$取值的两个概率分布，则二者的相对熵可表述为：

$D(p||q) =\sum_{i=1}^np(x)log\frac{p(x)}{q(x)}$

KL 散度是用来度量使用基于 Q 的编码来编码来自 P 的样本平均所需的额外的位元数。典型情况下，P 表示数据的真实分布，Q 表示数据的理论分布，模型分布，或 P 的近似分布。

注意：

• KL散度并不对称 $KL(p||q) \neq KL(q||p)$
• KL散度非负

简单实现：

from functools import reduce

import operator

import math

def kl(p, q):

　　return reduce(operator.add, map(lambda x, y: x*math.log(x/y), p, q))

 

3.交叉熵

衡量$p$与$q$之间的相似程度，所以常用在损失函数中

$H(p,q) =\sum_{i=1}^np(x)logq(x)$

 

4.三者关系：