信息增益与熵

作者:@houkai
本文为作者原创,转载请注明出处:https://www.cnblogs.com/houkai/p/3332054.html


1.信息熵

熵表示任何一种能量在空间中分布的均匀程度。能量分布得越均匀,熵就越大。后来香农将其引入到信息论中称为信息熵。信息熵在随机事件发生之前,它是结果不确定性的量度;在随机事件发生之后,它是人们从该事件中所得到信息量。

对于给定的概率分布clip_image002,则该分布传递的信息量即P的熵为

clip_image002[4]

熵的公式表明,概率分布越均匀,其所携带的信息量越大。

2.信息增益

首先给出信息增益的定义:
令X为随机变量,则X的信息熵定义为:clip_image002[6]

通过观测随机变量Y随机变量X的信息熵变为:clip_image002[8]

其中clip_image002[10]代表随机变量X的先验概率,clip_image004代表观测到随机变量Y后随机变量X的后验概率。

引入随机变量Y的信息后,随机变量X的信息熵clip_image006,即引入Y后,X的不确定程度会变小或保持不变。若Y与X不相关,则clip_image008;若Y与X相关,则clip_image010差值clip_image012越大, 对应Y与X的相关性越强

因此,定义信息增益clip_image014clip_image016clip_image018的差值,反映了Y与X的相关程度, clip_image014[1]越大,则变量Y与X的相关性越强。

clip_image020

而且,可以证明,信息增益具有对称性,即clip_image002[12]。另外,为了对信息增益进行归一化,可采用下式,同理有clip_image004[4]

clip_image006[4]

posted @   侯凯  阅读(1565)  评论(0编辑  收藏  举报
编辑推荐:
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
阅读排行:
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 提示词工程——AI应用必不可少的技术
· Open-Sora 2.0 重磅开源!
· 周边上新:园子的第一款马克杯温暖上架
点击右上角即可分享
微信分享提示