2018年11月27日
熵，条件熵，互信息，交叉熵
摘要： 熵 定义： 用来度量信息的不确定程度。 解释： 熵越大，信息量越大。不确定程度越低，熵越小，比如“明天太阳从东方升起”这句话的熵为0，因为这个句话没有带有任何信息，它描述的是一个确定无疑的事情。 例子：假设有随机变量X，用来表达明天天气的情况。X可能出现三种状态 1) 晴天2) 雨天 3)阴天 每种 阅读全文
posted @ 2018-11-27 20:36 clemente 阅读(911) 评论(0) 推荐(0) 编辑