提升树

集成学习

随机森林

AdaBoost 算法

提升树

梯度提升树（GBDT）

XGBoost

目录

• 一、提升树
  • 1. 提升树模型
  • 2. 提升树算法
    • 1. 回归问题的提升树
• 二、梯度提升树

一、提升树

提升树是以 \(CART\) 回归树为基本分类器的提升方法。

提升方法采用加法模型（即基函数的线性组合）与前向分步算法。

1. 提升树模型

提升树模型可以表示为决策树的加法模型：

\[\tag{13} f_M(x) = \sum_{m=1}^{M} T(x;\Theta_m) \]

\(T(x;\Theta_m)\) 表示决策树，\(\Theta_m\) 表示决策树的参数，\(M\) 表示树的个数。

2. 提升树算法

提升树算法采用前向分布算法。首先确定初始提升树 \(f_0(x) = 0\)，第 \(m\) 步的模型是

\[\tag{14} f_m(x) = f_{m-1}(x) + T(x;\Theta_m) \]

\(f_{m-1}(x)\) 为当前模型，通过损失函数极小化确定下一颗决策树的参数 \(\Theta_m\)：

\[\begin{aligned} \hat{\Theta}_m & = arg \ \underset{\Theta_m}{min} \sum_{i=1}^{N} L(y_i,f_{m-1}(x_i) + T(x_i;\Theta_m)) \\ & = arg \ \underset{\Theta_m}{min} \sum_{i=1}^{N} (r_{mi} - T(x_i;\Theta_m))^2 \end{aligned} \tag{15} \]

其中，\(r_{mi} = y_i - f_{m-1}(x_i)\) 表示残差。

使用不同的损失函数，得到不同的提升树算法。比如：平方误差损失函数的回归问题；指数损失函数、交叉熵损失的分类问题。

提升树算法是 \(AdaBoost\) 算法的特殊情况。

• 对于二分类问题，提升树只需将 \(AdaBoost\) 算法的基本分类器限制为二分类树即可。
• 基分类器的系数 \(\alpha_m\) 全为 \(1\)。

原理：只要损失函数是指数损失函数，就可以用指数损失函数调整样本的权值，从而让每个基分类器学到不同的内容。

1. 回归问题的提升树

训练集 \(T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\},\ x_i \in \pmb{R^n}, y_i \in \pmb{R}\)，将输入空间 \(x_i\) 划分为 \(J\) 个互不相交的区域 \(R_1,R_2,...,R_J\)，每个区域上确定输出的常量 \(c_j\)，那么树可表示为

\[\tag{16} T(x;\Theta) = \sum_{j=1}^{J} c_j I(x \in R_j) \]

其中，参数 \(\Theta = \{(R_1,c_1),(R_2,c_2),...,(R_J,c_J)\}\) 表示树的区域划分和各区域上的常数。\(J\) 是回归树的复杂度即叶结点个数。

回归问题的提升树算法：

输入：训练集 \(T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\},\ x_i \in \pmb{R^n}, y_i \in \pmb{R}\)；

输出：提升树 \(f_M(x)\)。

① 初始化 \(f_0(x) = 0\)。

② 对 \(m = 1,2,...,M\)。

​ (a) 对每一个样本 \((x_i,y_i)\) ，按式 \((16)\) 计算残差：

\[r_{mi} = y_i - f_{m-1}(x_i),\ \ \ \ i=1,2,...,N \]

​ (b) 利用 \(\{(x_i,r_{mi})\},\ \ \ \ i=1,2,...,N\) 学习一个回归树，得到 \(T(x;\Theta_m)\)。

​ (c) 更新 \(f_m(x) = f_{m-1}(x) + T(x;\Theta_m)\)。

③ 得到回归问题提升树

\[f_M(x) = \sum_{m=1}^{M}T(x;\Theta_m) \]

例 \(2\)：下表是训练集，\(x \in [0.5,10.5]\)，\(y \in [5.0,10.0]\)，学习这个回归问题的提升树模型，考虑只用树桩作为基函数。

\(x_i\)	1	2	3	4	5	6	7	8	9	10
\(y_i\)	5.56	5.70	5.91	6.40	6.80	7.05	8.90	8.70	9.00	9.05

解：

① 求 \(f_1(x)\) 即回归树 \(T_1(x)\) 。根据数据，考虑如下切分点：

\[1.5,\ 2.5,\ 3.5,\ 4.5,\ 5.5,\ 6.5,\ 7.5,\ 8.5,\ 9.5 \]

当 \(s = 1.5\)，

\[\begin{aligned} & R_1 = \{x | x \leqslant s \} = \{1\} \\ & R_2 = \{x | x > s \} = \{2,3,4,5,6,7,8,9,10\} \\ & c_1 = \frac{1}{N_1} \sum_{x_i \in R_1} y_i = 5.56 \\ & c_2 = \frac{1}{N_2} \sum_{x_i \in R_2} y_i = 15.72 \\ & m(s) = \underset{c_1}{min} \sum_{x_i \in R_1} (y_i-c_1)^2 + \underset{c_2}{min} \sum_{x_i \in R_2} (y_i-c_2)^2 = 0+15.72 = 15.72 \end{aligned} \]

\(N_1,N_2\) 是 \(R_1,R_2\) 的样本点数。

现将 \(s\) 及 \(m(s)\) 结果列表如下。

\(s\)	1.5	2.5	3.5	4.5	5.5	6.5	7.5	8.5	9.5
\(m(s)\)	15.72	12.07	8.36	5.78	3.91	1.93	8.01	11.73	15.74

当 \(s = 6.5\) 时 \(m(s)\) 最小，此时 \(R_1 = \{1,2,3,4,5,6\}\)，\(R_2 = \{7,8,9,10\}\)，\(c_1 = 6.24\)，\(c_2 = 8.91\)，

所以回归树 \(T_1(x)\) 为

\[\begin{aligned} T_1(x) & = \begin{cases} 6.24, & x<6.5 \\ 8.91, & x \geqslant 6.5 \end{cases} \\ f_1(x) & = T_1(x) \end{aligned} \]

用 \(f_1(x)\) 拟合训练集，残差列表如下。\(r_{2i} = y_i - f_1(x_i),\ i=1,2,...,10\)。

\(x_i\)	1	2	3	4	5	6	7	8	9	10
\(r_{2i}\)	-0.68	-0.54	-0.33	0.16	0.56	0.81	-0.01	-0.21	0.09	0.14

用 \(f_1(x)\) 拟合训练集的平方损失误差：

\[L(y,f_1(x)) = \sum_{i=1}^{10} (y_i - f_1(x_i))^2 = 1.93 \]

② 求 \(T_2(x)\)。拟合残差列表。

\[T_2(x) = \begin{cases} -0.52, & x<3.5 \\ 0.22, & x \geqslant 3.5 \end{cases} \]

\[f_2(x) = f_1(x) + T_2(x) = \begin{cases} 5.72, & x<3.5 \\ 6.46, & 3.5 \leqslant x < 6.5 \\ 9.13, & x \geqslant 6.5 \end{cases} \]

用 \(f_2(x)\) 拟合训练集的平方损失误差：

\[L(y, f_2(x)) = \sum_{i=1}^{10}(y_i - f_2(x_i))^2 = 0.79 \]

继续求得

\[\begin{aligned} & T_3(x) = \begin{cases} 0.15, & x<6.5 \\ -0.22, & x \geqslant6.5 \end{cases} \\ & L(y,f_3(x)) = 0.47, \\ \\ & T_4(x) = \begin{cases} -0.16, & x<4.5 \\ 0.11, & x \geqslant 4.5 \end{cases} \\ & L(y,f_4(x)) = 0.30, \\ \\ & T_5(x) = \begin{cases} 0.07, & x<6.5 \\ -0.11, & x \geqslant 6.5 \end{cases} \\ & L(y,f_5(x)) = 0.23, \\ \\ & T_6(x) = \begin{cases} -0.15, & x<2.5 \\ 0.44, & x \geqslant 2.5 \end{cases} \\ \\ & f_6(x) = f_5(x) + T_6(x) = T_1(x) + T_2(x) +...+ T_6(x) \\ & = \begin{cases} 5.63, & x<2.5 \\ 5.82, & 2.5 \leqslant x < 3.5 \\ 6.56, & 3.5 \leqslant x < 4.5 \\ 6.83, & 4.5 \leqslant x < 6.5 \\ 8.95, & x \geqslant 6.5 \end{cases} \end{aligned} \]

用 \(f_6(x)\) 拟合训练集的平方损失误差

\[L(y,f_6(x)) = \sum_{i=1}^{10} (y_i - f_6(x_i))^2 = 0.17 \]

假设此时满足误差要求，那么 \(f(x) = f_6(x)\) 为所求提升树。

二、梯度提升树

提升树用加法模型与前项分布算法实现学习的优化过程。当损失函数是平方误差损失函数和指数损失函数时，每一步优化很简单的。但对一般损失函数而言，每一步并不容易。

\(Freidman\) 提出利用损失函数的负梯度作为残差的近似值，拟合一个回归树。

\[- \begin{bmatrix} \frac{ \partial L(y_i, \ f(x_i))}{ \partial f(x_i)} \end{bmatrix} _{f(x)=f_{m-1} \ \ \ (x)} \]

其中，下标 \({f(x)=f_{m-1}(x)}\) 表示 \(f(x)\) 的取值 \(f_{m-1}(x)\)。

梯度提升树回归算法：

输入：训练集 \(T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}\)，\(x_i \in \mathcal{X} \subseteq \pmb{R}^n\)，\(y_i \in \mathcal{Y} \subseteq \pmb{R}\)；

其中，\(N\) 表示样本个数，\(\mathcal{X}\) 表示输入空间，\(\pmb{R}^n\) 表示 \(n\) 维。

输出：回归树 \(\hat{f}(x)\)。

其中，\(\hat{f}(x)\) 表示训练出来的模型。

（1）初始化

\[f_0(x) = arg \ \underset{c}{min} \sum_{i=1}^{N} L(y_i, c) \]

（2）对 \(m=1,2,...,M\)

​ （a）对 \(i=1,2,...,N\)，计算残差

\[r_{mi} = - \begin{bmatrix} \frac{\partial L(y_i, \ f(x_i))}{\partial f(x_i)} \end{bmatrix} _{f(x)=f_{m-1} \ \ \ (x)} \]

​ （b）将所有样本 \((x_i, r_{mi})\) 拟合一个回归树，得到第 \(m\) 棵树的叶结点区域 \(R_{mj}\)，\(j=1,2,...,J\)。

​ （c）对 \(j=1,2,...,J\)，其中 \(J\) 为叶结点的个数，计算

\[c_{mj} = arg\ \underset{c}{min} \sum_{x_i \in R_{mj}} \ L(y_i,f_{m-1} + c) \]

​ （d）更新 \(f_m(x) = f_{m-1}(x) + \sum_{j=1}^{J} c_{mj}I(x \in R_{mj})\)

（3）得到回归树

\[\hat{f}(x) = f_M(x) = \sum_{m=1}^{M} \sum_{j=1}^{J} c_{mj}I(x \in R_{mj}) \]

第 \((1)\) 步初始化，估计使损失函数极小化的常数值，它只有一个根节点。

第 \((2a)\) 步计算损失函数的负梯度在当前模型的值，作为残差的估计。对平方误差损失函数，它就是通常所说的残差；对于一般的损失函数，就是残差的近似值。

第 \((2b)\) 步对残差拟合一个回归树，得到回归树叶结点区域。

第 \((2c)\) 步利用线性搜索估计叶节点区域的值。使损失函数极小化。

第 \((2d)\) 步更新回归树。

第 \((3)\) 步得到最终模型 \(\hat{f}(x)\)。

求证：平方损失函数的负梯度是残差。

证明：为求导方便，在损失函数前乘以 \(\frac{1}{2}\)：

\[L(y_i,f(x_i)) = \frac{1}{2} \left( y_i,f(x_i)\right)^2 \]

对 \(f(x_i)\) 求导，则有：

\[\frac{\partial L(y_i, \ f(x_i))}{\partial f(x_i)} = f(x_i) - y_i \]

残差是梯度相反数，即：

\[r_{mi} = y_i - f_{m-1}(x_i) = - \begin{bmatrix} \frac{\partial L(y_i, \ f(x_i))}{\partial f(x_i)} \end{bmatrix} _{f(x)=f_{m-1}\ \ \ (x)} \]