基于梯度提升（Boosting ）的回归树简介

Boosting 是一种松散的策略，它将多个简单模型组合成一个复合模型。这个想法的理论来自于随着我们引入更多的简单模型，整个模型会变得越来越强大。在 boosting 中，简单模型称为弱模型或弱学习器。在回归的背景下，第一个简单模型只是一个常数，而随后的简单模型是“回归树”。

什么是回归树呢？它是用于回归的决策树！最简单通俗的解释就是决策树是一些if语句组成的树型结构，这些if的判断条件并不是我们人工手动指定的而是通过使用数据训练自动生成的。

梯度提升通过将一个个回归树进行整合可以使模型预测变得更好

通过下图的执行流程整个过程构成了解决回归问题的基本架构

 

完整文章：

https://www.overfit.cn/post/b2607080c4854157a1c711835cbb11ce