GBDT

一、简介

　　GBDT为梯度提升树，是提升树的一种改进形式。

 

二、算法原理

　　（1）初始化弱模型

$$f_{0}(x_{i})=arg\min_{c}\sum_{i=1}^{N}L(y_{i},c)$$

　　（2）在第m轮模型的计算中

　　　　（a）对每个样本i，计算负梯度

$$r_{im}=-\frac{\partial L(y_{i},f_{m-1}(x_{i}))}{\partial f_{m-1}(x_i)}$$

　　　　（b）将$r_{im}$作为下一轮样本i的真实值，即 $(x_{i}, r_{im})$

　　　　（c）计算叶子结点j的权值

$$\omega_{jm}=arg\min_{\omega}\sum_{x_{i}\in R_{jm}}^{}L(y_{i},f_{m-1}(x_{i})+\omega)$$

　　　　（d）m轮得到的新模型为

$$f_{m}(x)=f_{m-1}(x)+\sum_{j}^{J}\omega_{jm}I(x\in R_{jm})$$

　　（3）最终模型

$$f_{x}=\sum_{m}^{M}f_{m}(x)=f_{0}(x)+\sum_{m}^{M}\sum_{j}^{J}\omega_{jm}I(x\in R_{jm})$$