AdaBoost 算法

集成学习

随机森林

AdaBoost 算法

提升树

梯度提升树（GBDT）

XGBoost

目录

• 一、AdaBoost 分类算法
  • 1. 算法流程
  • 2. 算法分析
  • 3. 算法实例
• 二、AdaBoost 分类算法误差分析
• 三、AdaBoost 分类算法解释
  • 1. 前项分布算法
  • 2. 前向分步算法与 AdaBoost 分类算法
• 四、AdaBoost 回归算法
• 五、AdaBoost 算法正则化
• 六、AdaBoost 小结

在 $Boosting$ 系列算法中，最具代表的是 $AdaBoost$ 算法。该算法即可用于分类，也可用于回归。

一、AdaBoost 分类算法

假设二分类训练集

$$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$

$x_i \in \mathcal{X} \subseteq \pmb{R^n}$（$n$ 维），$y_i \in \mathcal{Y} = \{-1,1\}$，

1. 算法流程

输入：$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，$x_i \in \pmb{R^n}$（$n$ 维），$y_i \in \{-1,1\}$，弱学习器算法；

输出：最终分类器 $G(x)$。

① 初始化权值

$$D_1 = (\omega_{11},...\omega_{1i},...\omega_{1N}), \ \ \ \ \omega_{1i} = \frac{1}{N}, \ \ \ \ i=1,2,...,M$$

② 对 $m = 1,2,...M$

​ (a) 使用权值分布 $D_m$ 的训练集学习，得到基本分类器

$$G_m(x)\to \{-1,1\}$$

​ (b) 计算 $G_m(x)$ 的分类误差率

$$\tag{1} e_m = \sum_{i=1}^{M} P(G_m(x_i) ≠ y_i) = \sum_{i=1}^{N} \omega_{mi}I(G_m(x_i)≠y_i)$$

​ (c) 计算 $G_m(x)$ 的系数

$$\tag{2} \alpha_m = \frac{1}{2} log \frac{1-e_m}{e_m}$$

这里的对数为自然对数。

​ (d) 更新权值分布

$$\begin{align} \tag{3} & D_{m+1} = (\omega_{m+1,1},...,\omega_{m+1,i},...,\omega_{m+1,N}) \\ \tag{4} & \omega_{m+1,i} = \frac{\omega_{mi} e^{(-\alpha_m \ y_i \ G_m \ (x_i))}} {Z_m} \\ \tag{5} & Z_m = \sum_{i=1}^{N} \omega_{mi} e^{(-\alpha_m \ y_i \ G_m \ (x_i))} \end{align}$$

$Z_m$ 是规范化因子。

③ 构建基本分类器的线性组合

$$\tag{6} f(x) = \sum_{m=1}^{M} \alpha_m G_m(x)$$

最终分类器

$$\tag{7} G(x) = sign(f(x)) \\ $$

以上是 $AdaBoost$ 二分类问题的算法流程，对于 $AdaBoost$ 多分类问题，原理与二分类类似，最主要区别在基分类器的系数上。比如 $AdaBoost \ \ \ SAMME$​ 算法，它的基分类器系数

$$\alpha_m = \frac{1}{2} log \frac{1-e_m}{e_m} + log(R-1)$$

其中 $R$ 为类别数。如果是二分类，$R=2$。

2. 算法分析

① $I(G_m(x_i) ≠ y_i)$ 中，当 $G_m(x_i) = y_i$ 时为 $0$，$G_m(x_i) ≠ y_i$ 时为 $1$。

② $0 \leqslant e_m \leqslant 0.5$

因为当 $e_m \geqslant 0.5$ 会自动转换为 $e_m \leqslant 0.5$。

$x$	0	1	2	3
$y$	1	1	1	1
$G_m(x)$	-1	-1	-1	1
	错误	错误	错误	正确

自动转换为：

$x$	0	1	2	3
$y$	1	1	1	1
$-G_m(x)$	1	1	1	-1
	正确	正确	正确	错误

③ 由下图可得，$\alpha_m$ 随 $e_m$ 减小而增大。

$$0 \leqslant e_m \leqslant 0.5 \Longrightarrow 2 \leqslant \frac{1}{e_m} \Longrightarrow 1 \leqslant \frac{1}{e_m} - 1 \Longrightarrow 0 \leqslant log \frac{1-e_m}{e_m} \Longrightarrow 0 \leqslant \alpha_m$$

3. 算法实例

例 $1$：给定训练集，用 $AdaBoost$ 算法学习一个强分类器。

序号	1	2	3	4	5	6	7	8	9	10
$x$	0	1	2	3	4	5	6	7	8	9
$y$	1	1	1	-1	-1	-1	1	1	1	-1

解：① 初始化权值

$$D_1 = (\omega_{11},\omega_{12},...\omega_{110}) \\ \omega_{1i} = 0.1, \ \ \ \ i=1,2,...,M$$

② 对 $m = 1$

​ (a) 使用权值分布 $D_1$ 的训练集学习，阈值 $v=2.5$ 时分类误差率最大，得到基本分类器

$$G_1(x) = \begin{cases} 1, & x<2.5 \\ -1, & x>2.5 \end{cases}$$

​ (b) $G_1(x)$ 的分类误差率 $e_1 = P(G_1(x_i) ≠ y_i) = 0.3$。

​ (c) $G_1(x)$ 的系数：$\alpha_1 = \frac{1}{2} log \frac{1-e_1}{e_1} = 0.4236$

​ (d) 更新权值分布：

$$\begin{aligned} & D_2 = (\omega_{21},...,\omega_{2i},...\omega_{210}) \\ \\ & \omega_{2i} = \frac{\omega_{1i} e^{(-\alpha_1 y_i G_1(x_i))}} {Z_1} \\ \\ & D_2 = (0.07143,0.07143,0.07143,0.07143,0.07143,0.07143,0.16667,0.16667,0.16667,0.07143) \\ \\ & f_1(x) = 0.4236 G_1(x) \end{aligned}$$

分类正确的样本权重更新计算：$w_{1i} e^{(-\alpha_1 y_i G_1(x_i))} = 0.1 \times e^{(-0.4263 \times 1 \times 1)} = 0.065469$

分类错误的样本权重更新计算：$w_{1i} e^{(-\alpha_1 y_i G_1(x_i))} = 0.1 \times e^{(0.4263 \times 1 \times 1)} = 0.152745$

$Z_1 = 0.065469 \times 7 + 0.152748 \times 3 = 0.916515$

分类正确的样本更新后的权重：$\omega_{2i} = \frac{0.065469}{0.916515} = 0.071432$

分类错误的样本更新后的权重：$\omega_{2i} = \frac{0.152745}{0.916515} = 0.166659$

分类器 $sign[f_1(x)]$ 有三个误分类点。

对 $m = 2$

​ (a) 使用权值分布 $D_2$ 的训练集学习，阈值 $v=8.5$ 时分类误差率最大，得到基本分类器

$$G_2(x) = \begin{cases} 1, & x<8.5 \\ -1, & x>8.5 \end{cases}$$

​ (b) $G_2(x)$ 的分类误差率 $e_2 = P(G_2(x_i) ≠ y_i) = 0.2143$。

​ (c) $G_2(x)$ 的系数：$\alpha_2 = \frac{1}{2} log \frac{1-e_2}{e_2} = 0.6496$

​ (d) 更新权值分布：

$$\begin{aligned} & D_3 = (0.0455,0.0455,0.0455,0.1667,0.1667,0.1667,0.1060,0.1060,0.1060,0.0455) \\ & f_2(x) = 0.4236G_1(x) + 0.6496G_2(x) \end{aligned}$$

分类器 $sign[f_2(x)]$ 有三个误分类点。

对 $m = 3$

​ (a) 使用权值分布 $D_3$ 的训练集学习，阈值 $v=5.5$ 时分类误差率最大，得到基本分类器

$$G_3(x) = \begin{cases} 1, & x<5.5 \\ -1, & x>5.5 \end{cases}$$

​ (b) $G_3(x)$ 的分类误差率 $e_3 = P(G_3(x_i) ≠ y_i) = 0.1820$。

​ (c) $G_3(x)$ 的系数：$\alpha_3 = \frac{1}{2} log \frac{1-e_3}{e_3} = 0.7514$

​ (d) 更新权值分布：

$$\begin{aligned} & D_3 = (0.125,0.125,0.125,0.102,0.102,0.102,0.065,0.065,0.065,0.125) \\ & f_3(x) = 0.4236G_1(x) + 0.6496G_2(x) + 0.7514G_3(x) \end{aligned}$$

分类器 $sign[f_2(x)]$ 的误分类点为0。

于是最终分类器

$$G(x) = sign[f_3(x)] = sign[0.4236G_1(x) + 0.6496G_2(x) + 0.7514G_3(x)]$$

二、AdaBoost 分类算法误差分析

$AdaBoost$ 能在学习过程中不断减少训练误差，即训练集上的分类误差率。

定理 $1$： $AdaBoost$ 算法最终分类器的训练误差界为

$$\tag{8} \frac{1}{N} \sum_{i=1}^{N} I(G(x_i)≠y_i) \leqslant \frac{1}{N} \sum_{i}e^{(-y_if(x_i))} = \prod_{m} Z_m$$

$G(x)$、$f(x)$、$Z_m$ 分别由式 $(7)$、$(6)$、$(5)$ 给出。

证明：当 $G(x_i)≠y_i$ 时，$y_if(x_i)<0$，因而 $e^{(-y_if(x_i))} \geqslant 1$。推到出前半部分。

后半部分推到用到 $Z_m$ 的定义式 $(5)、(4)$ 的变形：

$$\omega_{mi} e^{(-\alpha_m \ y_i \ G_m \ (x_i))} = Z_m \omega_{m+1,i}$$

$$\begin{aligned} \frac{1}{N} \sum_{i} \exp \left(-y_{i} f\left(x_{i}\right)\right) &=\frac{1}{N} \sum_{i} \exp \left(-\sum_{m=1}^{M} \alpha_{m} y_{i} G_{m}\left(x_{i}\right)\right) \\ &=\sum_{i} w_{1 i} \prod_{m=1}^{M} \exp \left(-\alpha_{m} y_{i} G_{m}\left(x_{i}\right)\right) \\ &=Z_{1} \sum_{i} w_{2 i} \prod_{m=2}^{M} \exp \left(-\alpha_{m} y_{i} G_{m}\left(x_{i}\right)\right) \\ &=Z_{1} Z_{2} \sum_{i} w_{3 i} \prod_{m=3}^{M} \exp \left(-\alpha_{m} y_{i} G_{m}\left(x_{i}\right)\right) \\ &=\cdots \\ &=Z_{1} Z_{2} \cdots Z_{M-1} \sum_{i} w_{M i} \exp \left(-\alpha_{M} y_{i} G_{M}\left(x_{i}\right)\right) \\ &=\prod_{m=1}^{M} Z_{m} \end{aligned}$$

这说明，每一轮选取适当的 $G_m$ 使 $Z_m$ 最小，从而使训练误差下降最快。

定理 $2$： 二分类问题 $AdaBoost$ 的训练误差界

$$\begin{aligned} \prod_{m=1}^{M} Z_{m} & = \prod_{m=1}^{M}\left[2 \sqrt{e_{m}\left(1-e_{m}\right)}\right] \\ & = \prod_{m=1}^{M} \sqrt{\left(1-4 \gamma_{m}^{2}\right)} \\ & \leqslant \exp \left(-2 \sum_{m=1}^{M} \gamma_{m}^{2}\right) \end{aligned}$$

推论 1：如果存在 $\gamma>0$，对所有 $m$ 有 $\gamma_m \geqslant \gamma$，则

$$\frac{1}{N} \sum_{i=1}^{N} I(G(x_i) ≠ y_i) \geqslant e^{(e^{-2M \gamma^2} \ \ \ )}$$

表明此条件下 $AdaBoost$ 的训练误差是以指数速率下降。

注意：$AdaBoost$ 不需要知道下界 $\gamma$。该算法具有适应性，即能适应弱分类器各自的训练误差。这是它名称的由来，$Ada$ 是 $Adaptive$ 的简写。

三、AdaBoost 分类算法解释

$AdaBoost$ 分类算法还有另一种解释，可认为 $AdaBoost$ 分类算法是模型为加法模型、损失函数为指数函数、学习算法为前向分步算法的二分类学习算法。

1. 前项分布算法

加法模型

$$\tag{9} f(x) = \sum_{m=1}^{M} \beta_mb(x;\gamma_m)$$

$b(x;\gamma_m)$ 为基函数，$\gamma_m$ 为基函数的参数，$\beta_m$ 为基函数的系数。显然，式 $(6)$ 是加法模型。

在给定训练集及损失函数 $L(y,f(x))$ 的条件下，学习加法模型 $f(x)$​ 成为经验风险极小化即损失函数极小化问题：

$$\tag{10} \underset{\beta_m \ ,\gamma_m}{min} \ \sum_{m=1}^{N} L(y_i, \sum_{m=1}^{M} \beta_m b(x_i;\gamma_m))$$

前向分步算法思想：因为学习的是加法模型，如果能够从前向后，每一步只学习一个基函数及其系数，逐步逼近优化目标函数式，那么就可以简化优化的复杂度。具体地，每步只需优化如下损失函数：

$$\tag{11} \underset{\beta,\gamma}{min} \sum_{i=1}^{N} L(y_i,\beta b(x_i;\gamma))$$

给定训练集 $T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，$x_i \in \mathcal{X} \subseteq \pmb{R^n}$（$n$ 维），$y_i \in \mathcal{Y} = \{-1,1\}$。损失函数 $L(y,f(x))$ 和基函数的集合 $\{b(x;\gamma)\}$，学习加法模型 $f(x)$ 的前向分步算法如下。

前向分布算法：

输入：训练集 $T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，损失函数 $L(y,f(x))$ 和基函数集 $\{b(x;\gamma)\}$；

输出：加法模型 $f(x)$。

① 初始化 $f_0(x)=0$；

② 对 $m=1,2,...,M$

​ (a) 极小化损失函数

$$(\beta_m,\gamma_m) = arg \underset{\beta,\gamma}{min} \sum_{i=1}^{N} L(y_i,f_{m-1}(x_i) + \beta b(x_i;\gamma))$$

得到参数 $\beta_m,\gamma_m$。

​ (b) 更新

$$f_m(x) = f_{m-1}(x) + \beta_m b(x;\gamma_m)$$

③ 得到加法模型

$$f(x) = f_M(x) = \sum_{m=1}^{M} \beta_m b(x;\gamma_m)$$

这样，前向分步算法将同时求解从 $m=1$ 到 $M$ 所有参数 $\beta_m,\gamma_m$ 的优化问题简化为逐次求解各个 $\beta_m,\gamma_m$ 的优化问题。

2. 前向分步算法与 AdaBoost 分类算法

定理 $3$：$AdaBoost$ 分类算法是前向分布算法的特例。这时，模型是由基本分类器组成的加法模型，损失函数是指数函数。

求证：$AdaBoost$ 算法基分类器的系数为 $\alpha_m = \frac{1}{2}log\frac{1-e_m}{e_m}$。

证明：假设经过 $m-1$ 轮迭代，得到弱分类器 $f_{m-1}(x)$，根据前向分布算法，有：

$$f_m = f_{m-1}(x) + \alpha_m G_m(x)$$

$AdaBoost$ 的损失函数是指数损失，则有：

$$L = \sum_{i=1}^{N}e^{(-y_i \ f_m \ (x_i))} = \sum_{i=1}^{N}e^{(-y_i \ (f_{m-1} \ \ \ (x_i) + \alpha_m \ G_m))}$$

因为 $f_{m-1}(x)$ 已知，所以将其移到前面：

$$L = \sum_{i=1}^{N} \bar{w}_{m,i} \ e^{(-y_i \ \alpha_m \ G_m \ (x_i))}$$

其中，$\bar{w}_{m,i} = e^{(-y_i \ (f_{m-1} \ \ (x)))}$ 是每轮迭代的样本权重，证明化简如下：

$$\begin{aligned} \bar{w}_{m,i} & = e^{(-y_i \ (f_{m-1} \ \ \ (x_i) + \alpha_{m-1} \ \ \ G_{m-1} \ \ \ (x_i)) )} \\ & = \bar{w}_{m-1,i} \ e^{(-y_i \ \alpha_{m-1} \ \ \ G_{m-1} \ \ \ (x_i))} \end{aligned}$$

继续化简 $L$：

$$\begin{aligned} L & = \sum_{i=1}^{N} \bar{w}_{m,i} \ e^{(-y_i\ \alpha_i\ G_m \ (x_i))} \\ \\ & = \sum_{y_i = G_m \ (x_i)} \bar{w}_{m,i}\ e^{-\alpha_m} + \sum_{y_i ≠ G_m \ (x_i)} \bar{w}_{m,i}\ e^{\alpha_m} \\ \\ & = \sum_{i=1}^{N} \bar{w}_{m,i} \left( \frac{\sum_{y_i = G_m \ (x_i)} \ \bar{w}_{m,i}}{\sum_{i=1}^{N} \ \bar{w}_{m,i}} \ e^{-\alpha_m} + \frac{\sum_{y_i ≠ G_m \ (x_i)} \ \bar{w}_{m,i}}{\sum_{i=1}^{N} \ \bar{w}_{m,i}} \ e^{\alpha_m} \right) \end{aligned}$$

重写 $L$：

$$L= \sum_{N}^{i=1} w_{m,i} \left( (1-e_m)e^{(-\alpha_m \ )} + e_me^{(\alpha_m \ )} \right)$$

对 $\alpha_m$ 求偏导，令其为 $0$，则有：

$$\alpha_m = \frac{1}{2} log \frac{1-e_m}{e_m}$$

四、AdaBoost 回归算法

AdaBoost 回归算法。

五、AdaBoost 算法正则化

为防止 $AdaBoost$ 过拟合，通常加入正则化项，这个正则化通常称为步长（$learning\ rate$）。定义为 $\nu$。

对于弱学习器的迭代，

$$f_m(x) = f_{m-1}(x) + \alpha_m G_m(x)$$

加上正则化项，

$$f_m(x) = f_{m-1}(x) + \nu \alpha_m G_m(x)$$

其中 $0< \nu \leqslant 1$。

对于同样的训练集，较小的 $\nu$ 意味需要更多的弱学习器、迭代次数。通常我们用步长和迭代最大次数一起来决定算法的拟合效果。

六、AdaBoost 小结

$AdaBoost$ 算法弱学习器通常是决策树和神经网络。对于决策树，$AdaBoost$ 分类用 $CART$ 分类树，$AdaBoost$ 回归用 $CART$ 回归树。

$AdaBoost$ 优点：

• 作为分类器时，分类精度高。
• 可以使用各种回归分类模型构建弱学习器。
• 不容易过拟合。

$AdaBoost$ 缺点：

• 对异常数据敏感，异常数据在迭代中会获得较高的权重。影响最终强学习器的预测准确性。