信息增益与熵
作者:@houkai
本文为作者原创,转载请注明出处:https://www.cnblogs.com/houkai/p/3332054.html
1.信息熵
熵表示任何一种能量在空间中分布的均匀程度。能量分布得越均匀,熵就越大。后来香农将其引入到信息论中称为信息熵。信息熵在随机事件发生之前,它是结果不确定性的量度;在随机事件发生之后,它是人们从该事件中所得到信息量。
对于给定的概率分布,则该分布传递的信息量即P的熵为
熵的公式表明,概率分布越均匀,其所携带的信息量越大。
2.信息增益
首先给出信息增益的定义:
令X为随机变量,则X的信息熵定义为:
通过观测随机变量Y随机变量X的信息熵变为:
其中代表随机变量X的先验概率,
代表观测到随机变量Y后随机变量X的后验概率。
引入随机变量Y的信息后,随机变量X的信息熵,即引入Y后,X的不确定程度会变小或保持不变。若Y与X不相关,则
;若Y与X相关,则
,差值
越大, 对应Y与X的相关性越强。
因此,定义信息增益为
与
的差值,反映了Y与X的相关程度,
越大,则变量Y与X的相关性越强。
而且,可以证明,信息增益具有对称性,即。另外,为了对信息增益进行归一化,可采用下式,同理有
。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 提示词工程——AI应用必不可少的技术
· Open-Sora 2.0 重磅开源!
· 周边上新:园子的第一款马克杯温暖上架