1.构造损失函数的目标函数

2.对目标函数进行泰勒展开

3.把样本遍历转换成叶子节点遍历,合并正则化惩罚项

4.求wj进行求导,使得当目标函数等于0时的wj的值

5.将求解得到的wj反导入方程中,解得最终的目标函数

6.对样本进行分割时,用分割前的目标函数的值-分割后左右子树的目标函数的值,来划分得到最大的分割情况,以此来判断分割的界限

xgboost依据的是一种残差思想

以下是推导过程

 

实例说明

 

posted on 2018-10-14 15:01  python我的最爱  阅读(216)  评论(0编辑  收藏  举报