【心跳信号分类预测】Datawhale打卡- Task05 模型融合 (尝试记录)

教程的纲要

1. 简单加权融合:
   • 回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）；
   • 分类：投票（Voting)
   • 综合：排序融合(Rank averaging)，log融合
2. stacking/blending:
   • 构建多层模型，并利用预测结果再拟合预测。
3. boosting/bagging（在xgboost，Adaboost,GBDT中已经用到）:
   • 多树的提升方法

对照教程的实践

1. 简单加权融合
   • 回归：多分类不适用——直接放弃.
   • 投票制：没有成功跑分成功，lgb无法再五折交叉验证后仍可以输出模型用于投票，待提问。
   • 综合：
     • 排序融合: 待调研学习
     • log融合: 待调研学习
2. stacking/blending
   • stack：
     • lgb+lgb => logistic，负优化100+loss
     • lgb+lgb+lgb => logistic，负优化400+loss
     • cat+lgb => logistic，负优化400+loss
   • blending：数据量太少，不尝试
3. boosting
   • xgb, 未使用，负优化,调参后,相较于lgb更差
   • lgb, 单轮或者多轮融合,多轮效果更差
   • cat, 暂未找到合适的多分类的结果输出参数方式,按prob的概率输出多分类结果,高方差高偏差,弃用
4. bagging
   • 不适用
5. 尝试nn模型
   • MLPClassifier (from sklearn.neural_network import MLPClassifier,MLPRegressor) 效果极差,待后续优化
   • MLPRegressor 不适合
   • CNN 没学过，TODO
   • RNN 没学过，TODO