1.构造损失函数的目标函数
2.对目标函数进行泰勒展开
3.把样本遍历转换成叶子节点遍历,合并正则化惩罚项
4.求wj进行求导,使得当目标函数等于0时的wj的值
5.将求解得到的wj反导入方程中,解得最终的目标函数
6.对样本进行分割时,用分割前的目标函数的值-分割后左右子树的目标函数的值,来划分得到最大的分割情况,以此来判断分割的界限
xgboost依据的是一种残差思想
以下是推导过程
实例说明