机器学习技法之Aggregation方法总结:Blending、Learning(Bagging、AdaBoost、Decision Tree)及其aggregation of aggregation
本文主要基于台大林轩田老师的机器学习技法课程中关于使用融合(aggregation)方法获得更好性能的g的一个总结。包括从静态的融合方法blending(已经有了一堆的g,通过uniform:voting/average、non-uniform:linear/non-linear和condition的融合形式来获取更好地性能),动态融合方法learning(没有一堆的g set,而是通过online learning获取g,边学习g,变边进行融合,对比于blending中的uniform融合形式的有bagging,具有uniform融合形式的有AdaBoost(Re-weighting),具有condition融合形式的有Decision Tree),之后还包括一些aggregation model的aggregation,比如Random Forest、Gradient Boosted Decision Tree等。利用aggregation model进行机器学习有以下两方面的考量:1)cure of underfitting:比如AdaBoost-Stump,对于单个Decision Stump进行分类或拟合时,很显然是能力不够的underfitting,我们需要提升G的能力,而通过aggregation就可以使得G变得strong和powerful;2)cure of overfitting:比如classification来说,我们通过aggregation得到了类似support vector的large margin的效果,即我们选择的是“moderate”的那个线(最明显的例子就是对于PLA,我得到了一堆的二维平面上可以分开的g,那么我通过融合后得到的G实际上是moderate,对应SVM中的large margin),从而实现了regularization的效果,能抑制overfitting。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· .NET Core内存结构体系(Windows环境)底层原理浅谈
· C# 深度学习:对抗生成网络(GAN)训练头像生成模型
· .NET 适配 HarmonyOS 进展
· .NET 进程 stackoverflow异常后,还可以接收 TCP 连接请求吗?
· SQL Server统计信息更新会被阻塞或引起会话阻塞吗?
· 传国玉玺易主,ai.com竟然跳转到国产AI
· 本地部署 DeepSeek:小白也能轻松搞定!
· 自己如何在本地电脑从零搭建DeepSeek!手把手教学,快来看看! (建议收藏)
· 我们是如何解决abp身上的几个痛点
· 普通人也能轻松掌握的20个DeepSeek高频提示词(2025版)