会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
YoungF
Focusing on Natural Language Processing
博客园
首页
订阅
管理
2020年4月28日
一文搞懂各种“熵”
摘要: 熵是信息论非常重要的概念。本文简要介绍一下几个概念: 熵 联合熵 条件熵 相对熵 交叉熵 熵 随机变量$X$的分布的熵为: \[ H(X) = - \sum_x p(x)\log p(x) \] 性质: 熵是随机变量不确定性的度量,随机变量的取值个数越多,不确定性越大,混乱程度就越大,信息熵越大。
阅读全文
posted @ 2020-04-28 15:37 YoungF
阅读(1818)
评论(0)
推荐(0)
编辑
公告