机器学习与模式识别之——组合模型

组合模型的直观思想：三个臭皮匠胜过诸葛亮，少数服从多数

要获得号的集成，个体学习器应“好而不同”——如何产生并结合“好而不同”的个体学习器，恰是集成学习研究的核心。

目前集成学习方法大致分为两类：

Boosting：个体学习器之间存在强依赖，必须串行生成的序列化方法

Bagging：个体学习器不存在强依赖、可以同时并行生成的并行化方法

Boosting

Boosting是一族可将弱学习器提升为强学习器的算法：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，是的先前基学习器做错的训练样本在后续受到更多关注，

然后基于调整后的样本分布来训练下一个基学习器；如此重复，知道学习器数量达到事先指定的值T，最终将这T个基学习器进行加权组合。(adaboost\)