会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Arkenstone
slip the surly bond of earth to touch the face of god
博客园
首页
新随笔
联系
订阅
管理
2019年3月13日
深度学习中交叉熵和KL散度和最大似然估计之间的关系
摘要: 机器学习的面试题中经常会被问到交叉熵(cross entropy)和最大似然估计(MLE)或者KL散度有什么关系,查了一些资料发现优化这3个东西其实是等价的。 熵和交叉熵 提到交叉熵就需要了解下信息论中熵的定义。信息论认为: 确定的事件没有信息,随机事件包含最多的信息。 事件信息的定义为:$I(x)
阅读全文
posted @ 2019-03-13 17:52 Arkenstone
阅读(6660)
评论(0)
推荐(2)
编辑