会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
LOADING . . .
qizhou
博客园
首页
新随笔
联系
管理
2020年1月17日
信息熵、相对熵(KL散度)、交叉熵、条件熵、互信息、联合熵
摘要: 下面介绍的各种熵尽管都与数据分布的混乱度相关,但是建议把相对熵(KL散度)和交叉熵单独拿出来理解。它们是机器学习里额外定义的用来评估两个分布差异的一种方式,不能和其它熵放在一个韦恩图里观察。 信息熵 信息量和信息熵的概念最早是出现在通信理论中的,其概念最早是由信息论鼻祖香农在其经典著作《A Math
阅读全文
posted @ 2020-01-17 19:57 颀周
阅读(2285)
评论(0)
推荐(2)
编辑
公告
很高兴能帮到你~
点赞