会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
飒白
博客园
首页
新随笔
联系
管理
2020年7月5日
[一起面试AI]NO.11 熵、联合熵、条件熵、KL散度、互信息定义
摘要: 熵在物理中是用于衡量一个热力学系统的无序程度,表达式为△S=Q/T,其中Q是吸收或者释放的热量,T是温度。 计算机领域将其定义为离散随机事件出现的概率。一个系统越是有序信息熵就会越低;反之,系统越是混乱,信息熵就越高。 「联合熵」 两个随机变量X,Y的联合分布可求得联合熵。 「条件熵」 在随机变量X
阅读全文
posted @ 2020-07-05 09:37 飒白
阅读(553)
评论(0)
推荐(0)
编辑
公告