会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
wuliytTaotao
努力努力再努力(ง •̀_•́)ง 研究方向:计算广告、主动学习、半监督学习
博客园
首页
新随笔
联系
订阅
管理
2018年9月27日
【机器学习基础】熵、KL散度、交叉熵
摘要: 熵(entropy)、KL散度(Kullback-Leibler (KL) divergence)和交叉熵(cross-entropy)在机器学习的很多地方会用到。比如在决策树模型使用信息增益来选择一个最佳的划分,使得熵下降最大;深度学习模型最后一层使用 softmax 激活函数后,我们也常使用交叉熵来计算两个分布的“距离”。KL散度和交叉熵很像,都可以衡量两个分布之间的差异,相互之间可以转化。本文将对熵、KL散度和交叉熵进行简单的介绍。
阅读全文
posted @ 2018-09-27 22:27 wuliytTaotao
阅读(9420)
评论(0)
推荐(2)
编辑
公告