我们希望找到一个 使得 最小,那么 就得沿着使损失函数L减小的方向变化,即:
同时,最新的学习器是由当前学习器 与本次要产生的回归树 相加得到的:
因此,为了让损失函数减小,需要令:
即用损失函数对f(x)的负梯度来拟合回归树。