机器学习十讲-第四讲决策树
决策树
什么是决策树
顾名思义,决策树就是一棵树,一颗决策树包含一个根节点、若干个内部结点和若干个叶结点;叶结点对应于决策结果,其他每个结点则对应于一个属性测试;每个结点包含的样本集合根据属性测试的结果被划分到子结点中;根结点包含样本全集,从根结点到每个叶子结点的路径对应了一个判定测试序列。下面直接上个图,让大家看下决策树是怎样决策的(以三元分类为例)
![周志华教授书中案例](https://gitee.com/xp-thebest/blog_img/raw/master/img/5bd6672a0001276f13820792.png)
周志华教授书中案例
实现步骤
一般决策树的实现主要包含以下三个步骤:节点特征的选取(信息增益)、决策树的构建(利用递归的方式,具体参考代码)、决策树修剪(防过拟合)
节点特征的选取
![节点特征和分割点的选择](https://gitee.com/xp-thebest/blog_img/raw/master/img/image-20210216185108486.png)
节点特征和分割点的选择
节点不纯度的度量
Gini指数(Gini index)
![Gini指数](https://gitee.com/xp-thebest/blog_img/raw/master/img/image-20210329154029687.png)
Gini指数
信息嫡(entropy)
![信息嫡](https://gitee.com/xp-thebest/blog_img/raw/master/img/image-20210329154102135.png)
信息嫡
误分率(misclassification error)
![误分率](https://gitee.com/xp-thebest/blog_img/raw/master/img/image-20210216185455518.png)
误分率
随机森林
随机森林
AdaBoost 算法
AdaBoost
© 版权声明
文章版权归作者所有,未经允许请勿转载。
文章版权归作者所有,未经允许请勿转载。
THE END
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步