模型融合的结合策略

• 平均法：对弱分类器的结果进行加权平均，常应用于回归预测模型
• 投票法：一般应用于分类模型
• 学习法：通过另一个学习器来进行结合，把个体学习器称为初学习器，用于结合的学习器称为次级学习器或元xuexiqi
  （1）Stacking方法：先从初级数据集训练出初级学习器，然和“生成”一个新数据集用于训练次级学习器。在这个新的数据集中，初级学习器的输出当作样例
         作为输入特征。初始样本的标记仍然作为新的样例标记。
  stacking 一般使用交叉验证的方式，初始训练集D，被划分为训练集和测试集，其中训练集被随机划分为k个大小相似的集合，然后用K-1部分训练T个模型，对另一个部分产生T个预测值作为特征，遍历每一折后，也就得到新的特征集合，注意：在完成K折交叉验证之后，得到预测值为a1, a2, a3,...还需要对整个数据的测试集进行K次预测，即为b1, b2, b3...用新的特征集合训练一个集合模型。在完成整个步骤之后，将a1, a2, a3,...拼凑起来，形成一个矩阵，记为A1, 而对于b1, b2, b3,...这部分数据，将各部分相加取平均值，即为B1
  （2）Blending方法：区别stacking方法在于训练集不是通过K折策略，而是建立一个Holdout集，，例如10%的训练数据，第二阶段的stacker模型就基于第一阶段对这10%训练数据的预测值进行拟合
  
  

参考：

https://blog.csdn.net/u014248127/article/details/78993753