信息量、信息熵、交叉熵、相对熵

1、信息量

“陈羽凡吸毒？！工作室不是刚辟谣了吗？哇！信息量好大！”

在生活中，极少发生的事情最容易引起吃瓜群众的关注。而经常发生的事情则不会引起注意，比如吃瓜群众从来不会去关系明天太阳会不会东边升起。

信息量的多少与事件发生概率的大小成反比。

对于已发生的事件i，其所提供的信息量为： 其中底数通常为2，负号的目的是为了保证信息量不为负。

事件i发生的概率与对应信息量的关系如下所示：

2、信息熵（香农熵）

 

 所有可能发生事件所带来的信息量的期望

3、交叉熵

 

 

 

 如果假设分布概率与真实分布概率一致，那么交叉熵 = 信息熵。

4、相对熵（KL散度）

就是用后验分布 q 来近似先验分布 p 的时候造成的信息损失。再直白一点，就是衡量不同策略之间的差异性

 

相对熵用来衡量q拟合p的过程中产生的信息损耗，损耗越少，q拟合p也就越好。

 

 转载  https://www.cnblogs.com/wkang/p/10068475.html