机器学习之——决策树信息增益比计算[程序+例题]
0 前言
- 本文主要介绍决策树信息增益比的计算,并给出例子帮助读者理解。
- 读者需要具备:信息熵、条件熵、信息增益 相关知识。
- 本文使用数据集:游玩数据集 1.1节。
1 信息增益比计算公式
2 信息增益比计算
2.1 gR(play,outlook)的计算
根据信息增益(跳转)相关知识,得出:
-
特征outlook对数据集D的信息增益g(D,outlook)就等同于g(play,outlook),这里play是最终分类的属性。
先计算分子:g(play,outlook),有如下计算过程:
H(play)=-(5/14)log2(5/14)-(9/14)log2(9/14)=0.9403
H(play|outlook)=(4.0/14)* 0.0000+(5.0/14)* 0.9710+(5.0/14)* 0.9710=0.6935
g(play,outlook)=H(play)-H(play|outlook)=0.9403-0.6935=0.2467
H(play)的计算方法请参考:信息熵。
H(play|outlook)的计算方法请参考:条件熵。 -
根据分母HA(D)的公式,不难看出其就是某个随机变量D的信息熵。
故有HA(D)等同于H(A),即随机变量A的信息熵,在本例题等同于H(outlook)。
计算分母:H(outlook)=-(4/14)log2(4/14)-(5/14)log2(5/14)-(5/14)log2(5/14)=1.5774 -
计算gR(play,outlook)。
根据公式gR(play,outlook)=g(play,outlook) / H(outlook) = 0.2467 / 1.5774=0.1564
2.2 gR(play,temperature)的计算
-
计算分子g(play,temperature)。
H(play)=-(5/14)log2(5/14)-(9/14)log2(9/14)=0.9403
H(play|temperature)=(4.0/14)* 0.8113+(4.0/14)* 1.0000+(6.0/14)* 0.9183=0.9111
g(play,temperature)=H(play)-H(play|temperature)=0.9403-0.9111=0.0292 -
计算分母H(temperature)。
H(temperature)=-(4/14)log2(4/14)-(4/14)log2(4/14)-(6/14)log2(6/14)=1.5567 -
计算gR(play,temperature)。
gR(play,temperature)=g(play,temperature) / H(temperature)=0.0292/1.5567=0.0188
3 计算程序
4 结语
如有错误请指正,禁止商用。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~