qizhou

摘要： 下面介绍的各种熵尽管都与数据分布的混乱度相关，但是建议把相对熵（KL散度）和交叉熵单独拿出来理解。交叉熵和相对熵是针对同一个随机变量，它们是机器学习里额外定义的用来评估两个分布差异的方式，无法用韦恩图进行观察；而后面的条件熵等则是针对不同的随机变量之间的关系（可以看完本文再回来看这句话）。 信息熵 阅读全文