机器学习---模型融合目录

• Bagging

  • 思想：

1. 1. 在包含Ｎ个样本的数据集中采用有放回的抽样方式随机抽取一定数量(可以为Ｎ)的样本，构成一个数据集；
   2. 按照步骤ｉ中的方式得到M个数据集；
   3. 利用机器学习的方法(例如：SVM，决策树，神经网络……)对得到的Ｍ个数据集，训练出Ｍ个弱模型(比随机模型效果好)；
   4. 集成M个弱模型的结果作为最终结果；

　　　　Bagging就是通过Ｍ个弱模型的结果，通过并行集成的方式来获得最终结果。因为Ｍ个数据集是相互独立的，因此这Ｍ个弱模型之间也是相互独立的，在最终的集成结果时，每个模型的权重是一样的。这是和Boosting所不同的。

• • 集成方式：

    • 回归问题

      Ｍ个模型结果的均值；

    • 分类问题

      对Ｍ个模型的结果进行投票决定，票数多的作为结果；票数一样，随机决定；

  • 代表方法：　

    • RF

      • 理论总结
      • 调参总结　　

    • Extree　

      • 理论总结
      • 调参总结

• Boosting

  • 思想：

1. 1. 　每一次都根据上一次训练得到的模型结果，调整数据集样本分布，然后再生成下一个模型；
   2. 　直到生成Ｍ个模型;
   3. 　根据Ｍ个模型的结果集成得到最终的结果；

• • 集成方式：

　　　　　　每个模型的重要度作为每个模型结果的权重，然后加权计算得出结果。

　　　　　　可以看出Boosting中生成多个模型的方式并不是和Bagging一样并行生成，而是串行生成，因此也决定了多个模型结果的集成是串行集成,也就是每个模型的结果权重并不是一样的。如何来调整样本分布以及计算模型的重要度，不同方法有不同的定义，详情参见具体方法。

• • 代表方法：

    • AdaBoost

      • 理论总结
      • 调参总结

    • GBDT

      • 理论总结
      • 调参总结

    • XGBoost

      • 理论总结
      • 调参总结

    • LightGBM

      • 理论总结
      • 调参总结

    • CatBoost

      • 理论总结
      • 调参总结

• Stacking

  • 理论总结
  • 调参总结

• Blending

• • 理论总结
  • 调参总结

 

参考文献：

【1】Machine-Learning-for-Beginner-by-Python3