机器学习技法之Aggregation方法总结:Blending、Learning(Bagging、AdaBoost、Decision Tree)及其aggregation of aggregation

本文主要基于台大林轩田老师的机器学习技法课程中关于使用融合(aggregation)方法获得更好性能的g的一个总结。包括从静态的融合方法blending(已经有了一堆的g,通过uniform:voting/average、non-uniform:linear/non-linear和condition的融合形式来获取更好地性能),动态融合方法learning(没有一堆的g set,而是通过online learning获取g,边学习g,变边进行融合,对比于blending中的uniform融合形式的有bagging,具有uniform融合形式的有AdaBoost(Re-weighting),具有condition融合形式的有Decision Tree),之后还包括一些aggregation model的aggregation,比如Random Forest、Gradient Boosted Decision Tree等。利用aggregation model进行机器学习有以下两方面的考量:1)cure of underfitting:比如AdaBoost-Stump,对于单个Decision Stump进行分类或拟合时,很显然是能力不够的underfitting,我们需要提升G的能力,而通过aggregation就可以使得G变得strong和powerful;2)cure of overfitting:比如classification来说,我们通过aggregation得到了类似support vector的large margin的效果,即我们选择的是“moderate”的那个线(最明显的例子就是对于PLA,我得到了一堆的二维平面上可以分开的g,那么我通过融合后得到的G实际上是moderate,对应SVM中的large margin),从而实现了regularization的效果,能抑制overfitting。





posted @   ZhangPYi  阅读(162)  评论(0编辑  收藏  举报
编辑推荐:
· .NET Core内存结构体系(Windows环境)底层原理浅谈
· C# 深度学习:对抗生成网络(GAN)训练头像生成模型
· .NET 适配 HarmonyOS 进展
· .NET 进程 stackoverflow异常后,还可以接收 TCP 连接请求吗?
· SQL Server统计信息更新会被阻塞或引起会话阻塞吗?
阅读排行:
· 传国玉玺易主,ai.com竟然跳转到国产AI
· 本地部署 DeepSeek:小白也能轻松搞定!
· 自己如何在本地电脑从零搭建DeepSeek!手把手教学,快来看看! (建议收藏)
· 我们是如何解决abp身上的几个痛点
· 普通人也能轻松掌握的20个DeepSeek高频提示词(2025版)
点击右上角即可分享
微信分享提示