极限梯度提升 (XGBoost, eXtreme Gradient Boosting)

训练数据集 $D=[(x_i,y_i)]$ , 其中 $\overrightarrow x_i=(x_1,x_2,..x_m)^T,x_i\in R^m, y_i \in R, |D|=n$ ,
决策树模型

\begin{matrix} (1) & \begin{aligned} f (x) = w_{q (x)} \end{aligned} \end{matrix}

$\begin{equation}\begin{split} f(x)=w_{q(x)} \end{split}\end{equation}$

其中， $q:R^T \rightarrow \lbrace 1,...,T \rbrace$ 是由输入x向叶子节点编号的映射， $w \in R^T ,\overrightarrow w=(w_1,w_2,..w_m)^T$ 是叶子节点向量,w存储的是当前叶子节点存储的输出值，T为决策树叶子节点数。
给一个向量可以通过q映射到那个叶子节点下。
假设树已经生成，如何生成在下面。

提升决策树模型输出

\begin{matrix} (2) & \begin{aligned} {\hat{y}}_{i} = ϕ (x_{i}) = \sum_{k = 1}^{K} f_{k} (x_{i}) \end{aligned} \end{matrix}

$\begin{equation}\begin{split} \hat y_i = \phi(x_i) = \sum_{k=1}^K f_k(x_i) \end{split}\end{equation}$

其中， $f_k(x)$ 为第k棵决策树。
加了正则化目标函数

\begin{matrix} (3) & \begin{aligned} τ (ϕ) = \sum_{i} l ({\hat{y}}_{i}, y_{i}) + \sum_{k} Ω (f_{t}) \end{aligned} \end{matrix}

$\begin{equation}\begin{split} \tau(\phi) = \sum_i l(\hat y_i,y_i) + \sum_k \Omega(f_t) \end{split}\end{equation}$

$f_k$ 是一棵树。正则化项表征当前模型的复杂程度(模型复杂度是指非确定模型的假设空间的大小，假设空间越大，模型越复杂)[1]

\begin{matrix} (4) & \begin{aligned} Ω (f) = γ T + \frac{1}{2} λ ‖ w ‖^{2} = γ T + \frac{1}{2} λ \sum_{j}^{T} w_{j}^{2} \end{aligned} \end{matrix}

$\begin{equation}\begin{split} \Omega(f) = \gamma T+ \frac 1 2 \lambda \lVert w\rVert^2 =\gamma T+ \frac 1 2 \lambda\sum_j^Tw_j^2 \end{split}\end{equation}$

T是当前这颗树的叶子节点个数，表征当前模型的复杂程度。叶子节点约少模型约简单。
第t轮目标函数

\begin{matrix} (5) & \begin{aligned} ι^{(} t) = \sum_{i = 1}^{n} l (y_{i}, {\hat{y}}_{i}^{(t - 1)} + f_{t} (x_{i})) + Ω (f_{t}) \end{aligned} \end{matrix}

$\begin{equation}\begin{split} \iota^(t) = \sum_{i=1}^nl(y_i,\hat y_i^{(t-1)}+ f_t(x_i))+\Omega(f_t) \end{split}\end{equation}$

第t轮目标函数 $L^{(t)}$ 在 $\hat y^(t-1)$ 的二阶泰勒展开

\begin{matrix} (6) & \begin{aligned} f (x^{t}) = f (x^{t - 1} + Δ x) & = f (x^{t - 1}) + f^{'} (x^{t - 1}) Δ x + \frac{1}{2} f^{″} (x^{t - 1}) Δ^{2} x \\ {\hat{y}}_{i}^{(t - 1)} & = x^{t - 1}, f_{t} (x_{i}) = Δ x \end{aligned} \end{matrix}

$\begin{equation}\begin{split} f(x^t) = f(x^{t-1}+\Delta x )&=f(x^{t-1})+f'(x^{t-1})\Delta x + \frac 1 2f''(x^{t-1})\Delta^2x \\ \hat y_i^{(t-1)} &=x^{t-1}, f_t(x_i)=\Delta x \end{split}\end{equation}$

\begin{matrix} (7) & \begin{aligned} ι^{(t)} & \approx \sum_{i = 1}^{n} [l (y_{i}, {\hat{y}}^{t - 1}) + l_{y^{t - 1}}^{'} (y_{i}, {\hat{y}}^{t - 1}) f_{t} (x_{i}) + \frac{1}{2} l_{y^{t - 1}}^{″} (y_{i}, {\hat{y}}^{t - 1} f_{t}^{2} (x_{i}))] + Ω (f_{t}) \\ = \sum_{i = 1}^{n} [l (y_{i}, {\hat{y}}^{t - 1}) + g_{i} f_{i} (x_{i}) + \frac{1}{2} h_{i} f_{i}^{2} (x_{i})] + Ω (f_{t}) \end{aligned} \end{matrix}

$\begin{equation}\begin{split} \iota^{(t)} &\approx \sum_{i=1}^n \left[ l(y_i,\hat y^{t-1})+ l'_{y^{t-1}}(y_i,\hat y^{t-1})f_t(x_i) + \frac 1 2 l''_{y^{t-1}}(y_i,\hat y^{t-1}f_t^2(x_i)) \right] +\Omega(f_t)\\ &= \sum_{i=1}^n \left[ l(y_i,\hat y^{t-1}) + g_if_i(x_i) + \frac 1 2h_if_i^2(x_i) \right] + \Omega(f_t) \end{split}\end{equation}$

其中， $g_i = l'_{\hat y^{t-1}}(y,\hat y^{t-1}) , h_i = l''_{\hat y^{t-1}}(y,\hat y^{t-1})$
第t轮目标函数 $\iota^{(t)}$ 的二阶泰勒展开，并移除关于 $f_t(x_t)$ 常数项
从第t轮看t-1轮 $y^{t-1}$ 是已知的，所以剔除 $l(y_i,y^{t-1})$

\begin{matrix} (8) & \begin{aligned} ι^{(t)} & = \sum_{i = 1}^{n} [g_{i} f_{i} (x_{i}) + \frac{1}{2} h_{i} f_{i}^{2} (x_{i})] + Ω (f_{t}) \\ = \sum_{i = 1}^{n} [g_{i} f_{i} (x_{i}) + \frac{1}{2} h_{i} f_{i}^{2} (x_{i})] + γ T + \frac{1}{2} γ \sum_{j = 1}^{T} w_{j}^{2} \end{aligned} \end{matrix}

$\begin{equation}\begin{split} \iota^{(t)} &= \sum_{i=1}^n \left[ g_if_i(x_i) + \frac 1 2h_if_i^2(x_i) \right] + \Omega(f_t)\\ &= \sum_{i=1}^n \left[ g_if_i(x_i) + \frac 1 2h_if_i^2(x_i) \right] + \gamma T + \frac 1 2 \gamma\sum_{j=1}^Tw_j^2 \end{split}\end{equation}$

n是数据集的个数，第一个累加符号是在整个数据集中计算这个式子。第二个累加符号是在叶子节点累加。

定义叶子节点j上的样本的下标集合 $I_j= \lbrace i|q(X_i)=j \rbrace$ (关键),则目标函数可表示为按叶子节点累加的形式。
例如遍历一个花名册，念完每个人都遍历到了，或者每个人都被编入到每个小组里面，那么我想要遍历每个人，可以变成我对每个小组里的人进行遍历。两次遍历的结果是一样的。

\begin{matrix} (9) & \begin{aligned} ι^{(t)} = \sum_{j = 1}^{T} [(\sum_{i \in I_{j}} g_{i}) w_{j} + \frac{1}{2} (\sum_{i \in I_{j}} h_{j} + λ) w_{j}^{2}] + λ T \end{aligned} \end{matrix}

$\begin{equation}\begin{split} \iota^{(t)} = \sum_{j=1}^T \left[(\sum_{i\in I_j}g_i)w_j + \frac 1 2(\sum_{i\in I_j}h_j+\lambda)w^2_j \right]+\lambda T \end{split}\end{equation}$

为什么 $f_i(x_i)=w^2_j$ 见公式(20) (精髓啊)
目标函数写完以后，最优解就是使目标函数最小的映射输出。
由于 $w_j^* = arg\min_{w_j}\hat\iota^{(t)}$
令 $\frac {\partial \hat\iota^{(t)}}{\partial w_j}=0$

\begin{matrix} (10) & \begin{aligned} w_{j}^{*} = - \frac{\sum_{i \in I_{j}} g_{i}}{\sum_{i \in I_{j}} h_{i} + λ} \end{aligned} \end{matrix}

$\begin{equation}\begin{split} w_j^* = - \frac {\sum_{i \in I_j} g_i}{\sum_{i \in I_j} h_i+\lambda} \end{split}\end{equation}$

在将这个最优w(每个叶子节点j的最优分数)，得到最优化目标函数值：

\begin{matrix} (11) & \begin{aligned} {\hat{ι}}^{(t)} (q) = - \frac{1}{2} \sum_{j = 1}^{T} [\frac{(\sum_{i \in I_{L}} g_{i})^{2}}{\sum_{i \in I_{L}} h_{i} + λ}] + γ T \end{aligned} \end{matrix}

$\begin{equation}\begin{split} \hat \iota^{(t)}(q) = -\frac 1 2\sum_{j=1}^T \left[\frac{(\sum_{i\in I_L} g_i)^2}{\sum_{i\in I_L} h_i + \lambda} \right]+\gamma T \end{split}\end{equation}$

假设 $I_L$ 和 $I_R$ 分别为分裂后左右节点的实例集，令 $I=I_L \cup I_R$ , 则分裂后损失减少量由下式得出

\begin{matrix} (12) & \begin{aligned} ι_{s p l i t}^{'} = \frac{1}{2} [\frac{(\sum_{i \in I_{L}} g_{i})^{2}}{\sum_{i \in I_{L}} h_{i} + λ} + \frac{(\sum_{i \in I_{R}} g_{i})^{2}}{\sum_{i \in I_{R}} h_{i} + λ} - \frac{(\sum_{i \in I_{I}} g_{i})^{2}}{\sum_{i \in I_{I}} h_{i} + λ}] - γ \end{aligned} \end{matrix}

$\begin{equation}\begin{split} \iota'_{split} =\frac 1 2 \left[ \frac {(\sum_{i\in I_L} g_i)^2 }{\sum_{i\in I_L} h_i + \lambda} + \frac {(\sum_{i\in I_R} g_i)^2 }{\sum_{i\in I_R} h_i + \lambda} - \frac {(\sum_{i\in I_I} g_i)^2 }{\sum_{i\in I_I} h_i + \lambda}\right]-\gamma \end{split}\end{equation}$

左子树的损失值+右子树的损失值-整棵树的损失值，表征当前特征分裂的重要依据

算法：分裂查找的精确贪婪算法

输入：当前节点实例集 I；特征维度d = M
输出：根据最大分值分裂
(1) $gain \leftarrow 0$
(2) $G \leftarrow \sum_{i\in I}g_i,H \leftarrow \sum{_i\in I} h_i$
(3) for k = 1 to d do
(3.1) $G \leftarrow 0 , H_L \leftarrow 0$
(3.2) for j in sorted(I, by $X_{jk}$ ) do
(3.2.1) $G_L \leftarrow G_L + g_j , H_L \leftarrow H_L + h_j$
(3.2.2) $G_R \leftarrow G-G_L, H_R=H-H_L$
(3.2.3) score $\leftarrow max(score, \frac{G_L^2}{H_L+\lambda} +\frac{G_R^2}{H_R+\lambda}+\frac{G^2}{H+\lambda})$
(3.3) end
(4)end