梯度提升算法决策过程的逐步可视化

梯度提升算法是最常用的集成机器学习技术之一，该模型使用弱决策树序列来构建强学习器。这也是XGBoost和LightGBM模型的理论基础，所以在这篇文章中，我们将从头开始构建一个梯度增强模型并将其可视化。

梯度提升算法介绍

梯度提升算法（Gradient Boosting）是一种集成学习算法，它通过构建多个弱分类器，然后将它们组合成一个强分类器来提高模型的预测准确率。

梯度提升算法的原理可以分为以下几个步骤：

1. 初始化模型：一般来说，我们可以使用一个简单的模型（比如说决策树）作为初始的分类器。
2. 计算损失函数的负梯度：计算出每个样本点在当前模型下的损失函数的负梯度。这相当于是让新的分类器去拟合当前模型下的误差。
3. 训练新的分类器：用这些负梯度作为目标变量，训练一个新的弱分类器。这个弱分类器可以是任意的分类器，比如说决策树、线性模型等。
4. 更新模型：将新的分类器加入到原来的模型中，可以用加权平均或者其他方法将它们组合起来。
5. 重复迭代：重复上述步骤，直到达到预设的迭代次数或者达到预设的准确率。

由于梯度提升算法是一种串行算法，所以它的训练速度可能会比较慢，我们以一个实际的例子来介绍：

假设我们有一个特征集Xi和值Yi，要计算y的最佳估计

 

 

完整文章：

https://avoid.overfit.cn/post/533a0736b7554ef6b8464a5d8ba964ab