集成算法--1

模型融合

集成学习领域的发展得益于三个方面的早期研究，即：分类器结合、弱分类器集成和混合专家模型(mixture of experts)。

 

分类器结合（又称为模型融合）主要来自模式识别领域。这方面的研究关注强分类器，试图设计强大的结合规则来获取更强的结合分类器，在设计和使用不同的结合规则上积累深厚。简单来说就是设计规则来融合强分类器的结果，以获取更好的结果。包括的手法包括：投票法voting ，堆叠法stacking、混合法blending。 目的：将多个效果很好的模型，得分90的模型，融合在一起，得到95的结果。

 

 

弱分类器集成方面的研究主要集中在机器学习领域。这方面的研究关注弱分类器，试图设计强大的算法提升弱分类器的效果，产生了包括 AdaBoost 和 Bagging 等众多著名的集成学习算法，并且在将弱学习器提升为强学习器方面有深入的理论理解。

 

 

混合专家模型的研究主要集中在神经网络领域。在此，人们通常考虑使用分而治之的策略来共同学习一组模型，并结合使用它们获得一个总体解决方案。将一个任务分解成多个子任务，不同的子任务训练个体学习器，再结合个体学习器的结果最终输出。