集成算法——学习笔记
与神经网络相媲美。非常强大!一般都是对决策树集成。
随机森林与Stacking集成算法。
- Bagging集成思想与随机森林
- 理解交叉验证
- 理解Stacking集成算法。
集成算法:多算法融合。
决策树:容易发生过拟合。一颗树不好,就多颗树,森林。
怎么集成?两种方法主流,其他adaboost,xgboost
1、Bagging
独立并行训练,最后取平均值。
随机森林,基础决策树-称为弱学习器,集成之后:强学习器。
随机:随机数据、随机特征->提升泛化能力。
回归任务:均值。
分类任务:投票。
优势:并行,速度快。
2、Stacking
stack堆叠
各种任何算法集成。
分阶段:
并行训练,预测,第二阶段依据第一阶段加分类。
相当于在Bagging基础上进行总结。
ζั͡ޓއ genji - 至此只为原地流浪.......