梯度提升树-负梯度和残差的理解
提升树:提升方法采用加法模型(基函数的线性组合)与前向分布算法,以决策树为基函数的提升方法为提升树。
对于一般的回归树,采用平方误差损失函数,这时根据前向分布每次只需要达到最优化,就能保证整体上的优化。由于平方误差的特殊性,可以推导出每次只需要拟合残差(真实值-预测值)。
梯度提升树:而对于其他损失函数,提出了利用负梯度表示残差的近似值。
为什么采用损失函数的负梯度?
L(y,f(x))中将f(x)看成一个参数,为了使L损失函数最小,采用梯度下降的方法即:
f(x)_m=f(x)_m-1-(dL/df(x))//与一般的梯度下降法相同
而f(x)_m=f(x)_m-1+T(x;Q)//Q为前向分布法每次得到这棵树的参数,T(x;Q)为训练的新树
所以有f(x)_m-1+T(x;Q)=f(x)_m-1-(dL/df(x))
所以有T(x;Q)=-(dL/df(x))
左边为预测值,右边为真实值,所以整个过程就变成了每次拟合损失函数的负梯度的值。
所以可以将这种方法看成一般损失函数的情况,而平方损失是特殊的情况(拟合残差)。
posted on 2018-01-09 17:17 mdumpling 阅读(4520) 评论(2) 编辑 收藏 举报