2020年4月22日
信息，熵，联合熵，条件熵，互信息（信息增益），交叉熵，相对熵（KL散度）
摘要： 自信息 自信息I表示概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它用信息的单位表示，例如bit、nat或是hart，使用哪个单位取决于在计算中使用的对数的底。如下图： 对数以2为底，单位是比特（bit） 对数以e为底，单位是纳特（nat） 如英语有26个字母，假设在文章中出现的概率相等 阅读全文
posted @ 2020-04-22 15:53 wqbin 阅读(2403) 评论(0) 推荐(1) 编辑