集成学习之GBDT

集成学习之GBDT

• 1、GBDT
• • 1.1 GBDT定义
  • 1.2 GBDT学习过程
  • 1.3 GBDT学习过程-例子引入
  • 1.4 GBDT分类算法
• 2、代码实战
• • 2.1 GBDT分类
  • 2.2 GBDT回归

1、GBDT

1.1 GBDT定义

  GBDT、Treelink、 GBRT(Gradient Boost Regression Tree)、Tree Net、MART(Multiple Additive Regression Tree)算法都是以决策树为基分类器的集成算法，通常由多棵决策树构成，通常是上百棵树且每棵树规模都较小(即树的深度都比较浅)。进行模型预测的时候，对于输入的一个样本实例X，遍历每一棵决策树，每棵树都会对预测值进行调整修正，最后得到预测的结果。假设 F 0