[Mechine Learning & Algorithm] 集成学习方法——Bagging和 Boosting

　　使用机器学习方法解决问题时，有较多模型可供选择。 一般的思路是先根据数据的特点，快速尝试某种模型，选定某种模型后， 再进行模型参数的选择（当然时间允许的话，可以对模型和参数进行双向选择）

　　因为不同的模型具有不同的特点， 所以有时也会将多个模型进行组合，以发挥"三个臭皮匠顶一个诸葛亮的作用"， 这样的思路， 反应在模型中，主要有两种思路：Bagging和Boosting

1. Bagging

　　Bagging 可以看成是一种圆桌会议， 或是投票选举的形式，其中的思想是："群众的眼光是雪亮的"，可以训练多个模型，之后将这些模型进行加权组合，一般这类方法的效果，都会好于单个模型的效果。 在实践中， 在特征一定的情况下，大家总是使用Bagging的思想去提升效果。 例如kaggle上的问题解决，因为大家获得的数据都是一样的，特别是有些数据已经过预处理。

　　以下为Data Mining Concepts and Techniques 2nd 中的伪代码

　　基本的思路比较简单，就是：训练时，使用replacement的sampling方法， sampling一部分训练数据k次并训练k个模型；预测时，使用k个模型，如果为分类，则让k个模型均进行分类并选择出现次数最多的类(每个类出现的次数占比可以视为置信度)；如为回归，则为各类器返回的结果的平均值。

　　在该处，Bagging算法可以认为每个分类器的权重都一样。

2. Boosting

　　在Bagging方法中，我们假设每个训练样本的权重都是一致的； 而Boosting算法则更加关注错分的样本，越是容易错分的样本，约要花更多精力去关注。对应到数据中，就是该数据对模型的权重越大，后续的模型就越要拼命将这些经常分错的样本分正确。 最后训练出来的模型也有不同权重，所以boosting更像是会整，级别高，权威的医师的话语权就重些。

　　以下为Data Mining Concepts and Techniques 2nd 中adaboost伪代码：

 

　　训练：先初始化每个训练样本的权重相等为1/d，d为样本数量； 之后每次使用一部分训练样本去训练弱分类器，且只保留错误率小于0.5的弱分类器，对于分对的训练样本，将其权重 调整为 error(Mi)/(1-error(Mi)) ，其中error(Mi)为第i个弱分类器的错误率（降低正确分类的样本的权重，相当于增加分错样本的权重）；

　　测试：每个弱分类器均给出自己的预测结果，且弱分类器的权重为log(1-error(Mi))/error(Mi) ) 权重最高的类别，即为最终预测结果。

　　在adaboost中，弱分类器的个数的设计可以有多种方式，例如最简单的就是使用一维特征的树作为弱分类器。

　　adaboost在一定弱分类器数量控制下，速度较快，且效果还不错。

　　我们在实际应用中使用adaboost对输入关键词和推荐候选关键词进行相关性判断。随着新的模型方法的出现， adaboost效果已经稍显逊色，我们在同一数据集下，实验了GBDT和adaboost，在保证召回基本不变的情况下，简单调参后的Random Forest准确率居然比adaboost高5个点以上，效果令人吃惊。。。。

　　Bagging和Boosting都可以视为比较传统的集成学习思路。 现在常用的Random Forest，GBDT，GBRank其实都是更加精细化，效果更好的方法。 后续会有更加详细的内容专门介绍。

　　具体adaboost在百度关键词搜索推荐中的应用参见：《分类模型在关键词推荐系统中的应用》

3. 参考内容

　　[1] Dustinsea

　　[2] Data Mining Concepts and Techniques 2nd

　　[3] Soft Margin for Adaboost

　　[4] 一个版本的adaboost实现