【机器学习笔记之四】Adaboost 算法

本文结构：

什么是集成学习？
为什么集成的效果就会好于单个学习器？
如何生成个体学习器？
什么是 Boosting?
Adaboost 算法？

什么是集成学习

集成学习就是将多个弱的学习器结合起来组成一个强的学习器。

这就涉及到，先产生一组‘个体学习器’，再用一个策略将它们结合起来。

个体学习器可以选择：决策树，神经网络。
集成时可以所有个体学习器属于同一类算法：全是决策树，或全是神经网络；也可以来自不同的算法。
结合策略：例如分类问题，可以用投票法，少数服从多数。

之所以用这种集成的思想，是因为单独用一个算法时，效果往往不容易达到很好，但如果多个个体算法结合在一起，取长补短，整体效果就会比单独一个要强。

什么时候集成的效果就会好于单个学习器

当然集成并不是不管怎么选择学习器，怎么组合都一定会获得更好的效果，最好的情况是，每个学习器都不是特别差，并且要具有一定的多样性，否则可能集成后的会没有效果，或者起负作用：

来证明一下：

假设个体学习器的错误率为 ε，

假设错误率相互独立，由 Hoeffding 不等式可得到整体学习器的错误率为：

由不等式的右边可知，如果将学习器的数目 T 逐渐增大，那么整个学习器的错误率将指数级下降，甚至最终趋向于零。

这里提到了‘错误率相互独立’的假设，这就是集成学习的一个核心问题：
如何生成准确性又不是很差，并且还能保证多样性的个体学习器呢

目前主要有两种生成方式：

Boosting：个体学习器间存在强依赖关系，必须串行生成。
Bagging，随机森林：个体之间不存在强依赖关系，可并行生成。

Boosting 思想：
给定初始训练数据，由此训练出第一个基学习器；
根据基学习器的表现对样本进行调整，在之前学习器做错的样本上投入更多关注；
用调整后的样本，训练下一个基学习器；
重复上述过程 T 次，将 T 个学习器加权结合。

根据 Boosting 的定义，它有三个基本要素：
基学习器
组合方式
目标函数

Boosting 的代表是 Adaboost：
AdaBoost方法相对于大多数其它学习算法而言，不会很容易出现过拟合现象。

Adaboost 算法

第 1 行，初始化样本权重分布，此时每个数据的权重是一样的，所以是 1/m；
以分类问题为例，最初令每个样本的权重都相等，对于第 t 次迭代操作，我们就根据这些权重来选取样本点，进而训练分类器 C_t。
第 2 行，进入 for 循环 T 次，即基学习器的个数为 T 个；
第 3 行，根据具有当前权重分布 D_t 的数据集，学习出 h_t；
前一个分类器分错的样本会被用来训练下一个分类器。
h_t 是分量分类器 C_t 给出的对任一样本点 xi 的标记（+1或-1），h_t(xi) = yi 时，样本被正确分类。
第 4 行，计算当前学习器的误差；
第 5 行，如果误差大于 0.5，就停止；
AdaBoost 方法中使用的分类器可能很弱（比如出现很大错误率），但只要它的分类效果比随机好一点（比如两类问题分类错误率略小于0.5），就能够改善最终得到的模型。
第 6 行，计算当前学习器的权重 α_t；
权值是关于误差的表达式，当下一次分类器再次错分这些点之后，会提高整体的错误率，这样就导致分类器权值变小，进而导致这个分类器在最终的混合分类器中的权值变小，也就是说，Adaboost算法让正确率高的分类器占整体的权值更高，让正确率低的分类器权值更低，从而提高最终分类器的正确率。
第 7 行，得到下一时刻的权重分布 D_t＋1.
如果某个样本点已经被准确地分类，那么在构造下一个训练集中，它被选中的概率就被降低；相反，如果某个样本点没有被准确地分类，那么它的权重就得到提高。通过这样的方式，AdaBoost 方法能“聚焦于”那些较难分（更富信息）的样本上。

最后的总体分类的判决可以使用各个分量分类器加权平均来得到，
再取符号，这样，最后对分类结果的判定规则是：

举个例子

图中“+”和“-”表示两种类别，
共10个样本，故每个样本权值为0.1，

第一次划分有3个点划分错误，根据误差表达式得到误差：e1=（0.1+0.1+0.1）/1.0=0.3

分类器权重：

根据算法，对于正确分类的7个点，权值不变，仍为0.1, 对于错分的3个点，权值为：
D1=D0*(1-e1)/e1=0.1*(1-0.3)/0.3=0.2333

第二次分类，有3个 "-" 分类错误，按照算法计算如下：
上轮分类后权值之和为：0.17+0.23333=1.3990
分类误差：e2=0.1*3/1.3990=0.2144
分类器权重 a2=0.6493
错分的3个点权值为：D2=0.1*（1-0.2144）/0.2144=0.3664

第三次：