【Video Tracking & Detection】系列三之Algorithm Adaboost
SVM与Adaboost存在一些相似之处，下面我们看下关于Adaboost的基本介绍
Adaboost，是Adaptive Boosting是缩写。是经过调整的Boosting算法，适应性调整，能够对弱学习得到的弱分类器的错误进行适应性调整。
Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器（弱分类器），然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。
以上是Adaboost的核心思想。
算法本身是通过改变数据分布来实现的。
算法思路：
1. 根据每一次训练集之中，每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。
2. 将修改过权值的新数据集送给下层分类器进行训练，再重复1到2（体现迭代）。
3. 最后，将每次训练得到的分类器融合起来，作为最终的决策分类器。
算法优点：
应用于分类问题。 Adaboost分类器可以排除一些不必要的训练数据特征，并将关键放在关键的训练数据上面。
算法分析
过程分析
Adaboost，一开始就提到是一种迭代算法，也是一个简单的弱分类算法提升过程，怎样个提升法呢？由于单单依靠弱分类算法还难以保证分类结果的准确性，因而Adaboost的提升过程就是通过不断的训练，提高对数据的分类能力。详细流程如下：
1. 先通过对N个训练样本（预先给定）的学习（Offline Learning)得到第一个弱分类器；（总得先有第一者产生吧～）
2. 将分错的样本（怎么知道样本被分错了呢？）和其它的新数据一起（错了就要和待审核的一起，oh~），构成一个新的N个的训练样本，重复第一步，即通过对这个样本的学习得到第二个弱分类器（体现迭代）；
3. 将1和2都分错了的样本（其实就是2里分错的样本，因为1里错的样本已经全部给到2了），加上其它的新样本构成另一个新的N个的训练样本，通过对这个样本的学习得到第三个弱分类器；
4. 最终，经过提升的强分类器，即某个数据被分为哪一类要通过多数表决....（传说中的投票==）
存在的问题及改进方法
对于boosting算法，存在两个问题：
1. 如何调整训练集，使得在训练集上训练的弱分类器得以进行；换句话说，就是，当每次上层N个训练样本训练结束之后，如何调整训练集，将分错的样本与新数据结合起来，构成新的N个训练样本，供下一层学习。
2. 如何将训练得到的各个弱分类器联合起来形成强分类器；换句话说，要纪录每次得到的弱分类器，最后将每个样本在每个分类器中得到的数据，进行比较，投票...多数表决通过！
针对以上两个问题，Adaboost算法进行了调整：（引入了权重的概念！）
1. 使用加权后选取的训练数据代替随机选取的训练样本，这样，将训练的焦点集中在比较难分的训练数据样本上；
2. 将弱分类器联合起来，使用加权的投票机制代替平均投票机制。让分类效果好的弱分类器具有较大的权重，而分类效果差的分类器具有较小的权重。道理不言而喻！
关于权重的理解：
Adaboost算法中不同的训练集是通过调整每个样本对应的权重来实现的。开始时，每个样本对应的权重是相同的，即其中n为样本个数，在此样本分布下训练出一弱分类器。对于分类错误的样本，加大其对应的权重；而对于分类正确的样本，降低其权重，这样，分错的样本就被突显出来（权重大的），从而得到一个新的样本分布。
在新的样本分布下，再次对样本进行训练，又得到一个弱分类器，又加大分类错误的样本的权重。
依次类推，经过T次循环，得到T个弱分类器，把这T个弱分类器按一定的权重叠加（boost）起来，得到最终想要的强分类器！
好了，现在已经知道了算法的原理与实现，接下来是算法的具体简洁步骤！
Adaboost算法的具体步骤
1. 给定训练样本集S，其中X和Y分别对应于正例样本和负例样本（即两个分类结果）；T为训练的最大循环次数；
2. 初始化样本权重为1/n，即为训练样本的初始概率分布（即离散型均匀分布）；
3. 第一次迭代：
（1）训练样本的概率分布相当下，训练弱分类器；
（2）计算弱分类器的错误率（怎么计算呢？错误率 ＝ 分类出错的样本个数 / 总的样本个数）；
（3）选取合适阀值，使得误差最小；
（4）更新样本权重（新的样本权重替代旧的）；
经过T次循环后，得到T个弱分类器，按更新的权重叠加，最终得到强分类器。
步骤总结：上述的算法步骤迭代了T次的主循环，每一次循环根据当前的权重分布对样本x定一个分布P，然后对这个分布下的所有样本使用弱学习算法得到一个弱分类器。
每一次迭代，都要对权重进行更新！更新的规则就是：减小弱分类器分类效果较好的数据的概率，增大弱分类器分类效果较差的数据的概率，最终的分类器是一个所有弱分类器的加权平均！
