qizhou

摘要： 下面介绍的各种熵尽管都与数据分布的混乱度相关，但是建议把相对熵（KL散度）和交叉熵单独拿出来理解。它们是机器学习里额外定义的用来评估两个分布差异的一种方式，不能和其它熵放在一个韦恩图里观察。 信息熵 信息量和信息熵的概念最早是出现在通信理论中的，其概念最早是由信息论鼻祖香农在其经典著作《A Math 阅读全文