Adaboost的意义

    Adaboost是广义上的提升方法（boosting method）的一个特例。广泛应用于人脸识别等领域。

    它的基本思想是，“三个臭皮匠赛过诸葛亮”，即用多个弱分类器的线性加权，来得到一个强的分类器。弱分类器到底有多“弱”呢？在某些情境下，xi>v就是一个弱分类器，它只对输入特征的某一个维度做判断，真是够弱了。

    首先，弱分类器是一个一个的学习的，而且，根据这些弱分类器的表现，配以不同的权重，表现好的弱分类器，权重就大一点，表现不好的弱分类器，权重就小一点。

    其次，在每一次学习时，每个弱分类器其实处理的都是不一样的数据，what？因为在学习时，我们会给不同的样本配以不同的权重，若这个样本对于当前的弱分类器来说比较重要，权重就大一些，反之权重就小一些。

    现在我们大概知道了，Adaboost就是通过不断调整样本权重，来学习不同的弱分类器，然后将这些弱分类器，按照它们各自的表现配以不同的权重，线性加权得到最终的分类器。看来，“权重”这个概念在Adaboost方法中显得非常重要。

    具体的来说，在学习第一个弱分类器时，各样本的权重都是一样的，且加和为1。在我们学习到第一个弱分类器f1之后，计算f1的分类误差，注意，这里的分类误差是基于样本权重来计算的，然后我们根据这个分类误差，确定第一个弱分类器的权重。最后，我们需要根据当前弱分类器的分类结果，对样本权重进行调整。被正确分类的，权重调低，被错误分类的，权重调高。然后继续学习下一个弱分类器。

    我们打一个比方，一群学生不服管教，校长从警官学校请来一批教员，依次给学生上课，每个教员都有自己的拿手绝活。第一个教员上完课之后，一部分学生变乖的，另一部分学生仍然不听话。于是第一个教员把不听话的学生列了一个名单，交给第二个教员，让他对这些“问题学生”格外关注，第二个教员教完后，首先，这些“问题学生”之中，有一部分变乖了，还有一部分仍然不听话，其次，之前的乖学生，也有一部分不服第二个教员，于是第二个教员把他所遇到的不听话的学生，又列了一个名单，交给了第三个教员。第三个教员拿到的名单，包含了两部分“问题学生”，一部分是仅不服第二个教员的，他们的名字用普通字体标识，另外一部分是前两个教员都不服的，他们的名字加粗显示。于是第三个教员就心中有数了，他给学生上课的时候，重点关注那些“问题学生”，尤其是对前两个教员都不服的“问题学生”。依次进行下去。最后，学期结束校长验收，当这批教员同时出现时，绝大多数学生都变成了听话的学生。

    以上是Adaboost的通俗解释。我们看Adaboost算法细则时，经常会感到疑惑，为什么这个权重这样调整？为什么这个参数这样设置？看似巧妙，实际上背后有深刻的理论支撑。这个理论就是，可加性模型。可加性模型听起来高大上，但它的一个例子很亲民，就是决策树。

    可加性模型可以这样表示 Fm = f1+f2+...+fm。其中fi表示一些弱分类器，我们把这些弱分类器线性组合起来，就能构成一个强分类器。但是，同时求解这些弱分类器，比较困难，因此我们通常采用前向分步算法。具体是，先求F1 = f1，在一定的损失函数下，确定f1，然后，求F2 = f1+f2，在一定的损失函数下，确定f2，依次类推。可以看出，我们每次都是在前一次学习的基础上，再学习下一个弱分类器。这里的f2，可以针对f1分错的样例进行纠错和补充，这一点是非常重要的，对比决策树，如果我们在父节点对样本的分类不够纯粹，可以在子节点进行修复和纠错，这一点上来看，决策树和可加性模型是同一个思路。事实上，可加性模型中，就有一种以决策树作为弱分类器的模型，称为提升树（boosting tree）。

    对于可加性模型，我们再举一个回归树的例子。仍然假设Fm = f1+f2+...+fm，此时，我们用f2去拟合f1和y之间的残差，从而得到对y更准确的估计。这里仍然遵循了上面的思路，用后面的弱学习器对前面的弱学习器进行补充和纠错。

    再回到Adaboost，如果我们把模型选作可加性模型，损失函数选作指数损失，算法选择前向分步算法，那么得到的就是Adaboost模型。