AdaBoost原理，算法实现
前言：
当做重要决定时，大家可能综合考虑多个专家而不是一个人的意见。机器学习处理问题也是如此，这就是元算法背后的思路。元算法是对其他算法进行组合的一种方式，前几天看了一个称作adaboost方法的介绍，今天和大家分享一下。
一、bagging算法：基于数据随机抽样的分类器构建方法
自举汇聚法，也称为bagging算法，就是从原始数据集中选择S次后得到S个新数据集的一种技术。新数据集和原数据集大小相等，每个数据集都是在原始数据集中选择一个样本来进行替换得到的，这里的替换意味着可以多吃选择同一个样本。
当S个数据集建立好之后，将某个机器学习算法等别作用在每个数据集中就得到了S个分类器。当我们要对新的数据进行分类时，就可以应用这S个分类器进行分类，与此同时，选择分类器投票结果中更多的类别作为最终的分类结果。
bagging方法的主要过程
主要思路：
i)训练分类器
从整体样本集合中，抽样n* < N个样本 针对抽样的集合训练分类器Ci
ii)分类器进行投票，最终的结果是分类器投票的优胜结果
但是，上述这种方法，都只是将分类器进行简单的组合，实际上，并没有发挥出分类器组合的威力来。直到1989年，Yoav Freund与 Robert Schapire提出了一种可行的将弱分类器组合为强分类器的方法。并由此而获得了2003年的哥德尔奖（Godel price）。
Schapire还提出了一种早期的boosting算法，其主要过程如下：
i)从样本整体集合D中，不放回的随机抽样n1 < n 个样本，得到集合 D1
训练弱分类器C1
ii)从样本整体集合D中，抽取 n2 < n 个样本，其中合并进一半被 C1 分类错误的样本。得到样本集合 D2
训练弱分类器C2
iii)抽取D样本集合中，C1 和 C2 分类不一致样本，组成D3
训练弱分类器C3
iv)用三个分类器做投票，得到最后分类结果
由于boosting分类结果是基于所有分类器的加权求和结果的，因此boosting算法和bagging算法不一样，bagging算法中的分类器权重是相等的，而boosting算法分类器权重并不想等，每个权重代表的是其对应的分类器在上一轮叠代中的成功度（识别率）。
能否使用弱分类器和多个实例来构建一个强分类器？
到了1995年，Freund and schapire提出了现在的adaboost算法，其主要框架可以描述为：
i)循环迭代多次
更新样本分布
寻找当前分布下的最优弱分类器
计算弱分类器误差率
ii)聚合多次训练的弱分类器
Adaboosting是Adaptive boosting算法的缩写，其运行过程如下：训练数据中的每个样本，并赋予一个权重值，这些权重构成向量D。一开始这些权重都被初始化为相同的值，首先在训练数据上训练处一个弱分类器并计算该分类器的错误率，然后在同一数据集上再次训练弱分类器。在分类器的第二次训练中，将会调整每个样本的权重，其中第一次被正确分类的样本权重值将会降低，而被错分的样本权重值将会提高（对分类错误做出一定的惩罚）。为了综合所有的弱分类器得到最终的分类结果，Adaboost为每个分类器都分配了一个圈子alpha，这个alpha值是基于每个弱分类器的错误率进行计算的，错误率e=（未被正确分类的样本数）/所有样本数。
alpha的计算公式:
计算出alpha后，可以对权重向量进行更新，使得那些正确分类的样本权重降低错分样本权重升高
在下图中可以看到完整的adaboost算法：
图1.1 adaboost算法过程
现在，boost算法有了很大的发展，出现了很多的其他boost算法，例如：logitboost算法，gentleboost算法等等。在这次报告中，我们将着重介绍adaboost算法的过程和特性。
简单来说，Adaboost有很多优点:
1)adaboost是一种有很高精度的分类器
2)可以使用各种方法构建子分类器，adaboost算法提供的是框架
3)当使用简单分类器时，计算出的结果是可以理解的。而且弱分类器构造极其简单
4)简单，不用做特征筛选
5)不用担心overfitting！
总之：adaboost是简单，有效。
下面我们举一个简单的例子来看看adaboost的实现过程：
图中，“+”和“-”分别表示两种类别，在这个过程中，我们使用水平或者垂直的直线作为分类器，来进行分类。
第一步：
根据分类的正确率，得到一个新的样本分布D2，一个子分类器h1
其中划圈的样本表示被分错的。在右边的途中，比较大的“+”表示对该样本做了加权。
第二步：
根据分类的正确率，得到一个新的样本分布D3，一个子分类器h2
第三步：
得到一个子分类器h3
整合所有子分类器：
因此可以得到整合的结果，从结果中看，及时简单的分类器，组合起来也能获得很好的分类效果，在例子中所有的。
Adaboost算法的某些特性是非常好的，在我们的报告中，主要介绍adaboost的两个特性。一是训练的错误率上界，随着迭代次数的增加，会逐渐下降；二是adaboost算法即使训练次数很多，也不会出现过拟合的问题。
下面主要通过证明过程和图表来描述这两个特性：
1）错误率上界下降的特性
从而可以看出，随着迭代次数的增加，实际上错误率上界在下降。
2）不会出现过拟合现象
通常，过拟合现象指的是下图描述的这种现象，即随着模型训练误差的下降，实际上，模型的泛化误差（测试误差）在上升。横轴表示迭代的次数，纵轴表示训练误差的值。
而实际上，并没有观察到adaboost算法出现这样的情况，即当训练误差小到一定程度以后，继续训练，返回误差仍然不会增加。
对这种现象的解释，要借助margin的概念，其中margin表示如下：
通过引入margin的概念，我们可以观察到下图所出现的现象：
从图上左边的子图可以看到，随着训练次数的增加，test的误差率并没有升高，同时对应着右边的子图可以看到，随着训练次数的增加，margin一直在增加。这就是说，在训练误差下降到一定程度以后，更多的训练，会增加分类器的分类margin，这个过程也能够防止测试误差的上升。
Adaboost算法的实现：
对每次迭代：
找到最佳的单层决策树
将最佳单层决策树加入到单层决策树数组
计算alpha
计算新的权重向量D
更新累计类别估计值
如果分类错误率为0，退出循环
三、多分类adaboost
在日常任务中，我们通常需要去解决多分类的问题。而前面的介绍中，adaboost算法只能适用于二分类的情况。因此，在这一小节中，我们着重介绍如何将adaboost算法调整到适合处理多分类任务的方法。
目前有三种比较常用的将二分类adaboost方法。
1、adaboost M1方法
主要思路： adaboost组合的若干个弱分类器本身就是多分类的分类器。
在训练的时候，样本权重空间的计算方法，仍然为：
在解码的时候，选择一个最有可能的分类
2、adaboost MH方法
主要思路： 组合的弱分类器仍然是二分类的分类器，将分类label和分类样例组合，生成N个样本，在这个新的样本空间上训练分类器。
可以用下图来表示其原理：
3、对多分类输出进行二进制编码
主要思路：对N个label进行二进制编码，例如用m位二进制数表示一个label。然后训练m个二分类分类器，在解码时生成m位的二进制数。从而对应到一个label上。
四、总结
最后，我们可以总结下adaboost算法的一些实际可以使用的场景：
1）用于二分类或多分类的应用场景
2）用于做分类任务的baseline
无脑化，简单，不会overfitting，不用调分类器
3）用于特征选择（feature selection)
4）Boosting框架用于对badcase的修正
只需要增加新的分类器，不需要变动原有分类器
由于adaboost算法是一种实现简单，应用也很简单的算法。Adaboost算法通过组合弱分类器而得到强分类器，同时具有分类错误率上界随着训练增加而稳定下降，不会过拟合等的性质，应该说是一种很适合于在各种分类场景下应用的算法。
附上adaboost算法的python代码：
1）单层决策树生成函数：
def stumpClassify(dataMatrix,dimen,threshVal,threshIneq): %通过阈值比较对数据进行分类
retArray = ones((shape(dataMatrix)[0],1))
if threshIneq == 'lt':%分类是基于小于还是大于
retArray[dataMatrix[:,dimen] <= threshVal] = -1.0
else:
retArray[dataMatrix[:,dimen] > threshVal] = -1.0
return retArray
def buildStump(dataArr,classLabels,D):%遍历stumpClassify函数所有的可能输入值，并找到数据集上最佳的单层决策树
dataMatrix = mat(dataArr); labelMat = mat(classLabels).T
m,n = shape(dataMatrix)
numSteps = 10.0; bestStump = {}; bestClasEst = mat(zeros((m,1)))
minError = inf
for i in range(n):
rangeMin = dataMatrix[:,i].min(); rangeMax = dataMatrix[:,i].max();
stepSize = (rangeMax-rangeMin)/numSteps%每次改变的步长
for j in range(-1,int(numSteps)+1):
for inequal in ['lt', 'gt']:
threshVal = (rangeMin + float(j) * stepSize)
predictedVals = \
stumpClassify(dataMatrix,i,threshVal,inequal)
errArr = mat(ones((m,1)))
errArr[predictedVals == labelMat] = 0
weightedError = D.T*errArr
#print "split: dim %d, thresh %.2f, thresh ineqal: \
%s, the weighted error is %.3f" %\
(i, threshVal, inequal, weightedError)
if weightedError < minError:
minError = weightedError
bestClasEst = predictedVals.copy()%错误率最小的为最佳的单层分类器
bestStump['dim'] = i
bestStump['thresh'] = threshVal
bestStump['ineq'] = inequal
return bestStump,minError,bestClasEst
2）基于单层决策树的Adaboost的训练过程
def adaBoostTrainDS(dataArr,classLabels,numIt=40):
weakClassArr = []
m = shape(dataArr)[0]
D = mat(ones((m,1))/m)
aggClassEst = mat(zeros((m,1)))%类别累计估计值
for i in range(numIt):
bestStump,error,classEst = buildStump(dataArr,classLabels,D)
print "D:",D.T
alpha = float(0.5*log((1.0-error)/max(error,1e-16)))
bestStump['alpha'] = alpha
weakClassArr.append(bestStump)
print "classEst: ",classEst.T
expon = multiply(-1*alpha*mat(classLabels).T,classEst)%计算alpha值
D = multiply(D,exp(expon))%更新权重向量D
D = D/D.sum()
aggClassEst += alpha*classEst%累计类别估计值
print "aggClassEst: ",aggClassEst.T
aggErrors = multiply(sign(aggClassEst) !=
mat(classLabels).T,ones((m,1)))
errorRate = aggErrors.sum()/m
print "total error: ",errorRate,"\n"
if errorRate == 0.0: break
return weakClassArr
