机器学习技法之Aggregation方法总结:Blending、Learning(Bagging、AdaBoost、Decision Tree)及其aggregation of aggregation
本文主要基于台大林轩田老师的机器学习技法课程中关于使用融合(aggregation)方法获得更好性能的g的一个总结。包括从静态的融合方法blending(已经有了一堆的g,通过uniform:voting/average、non-uniform:linear/non-linear和condition的融合形式来获取更好地性能),动态融合方法learning(没有一堆的g set,而是通过online learning获取g,边学习g,变边进行融合,对比于blending中的uniform融合形式的有bagging,具有uniform融合形式的有AdaBoost(Re-weighting),具有condition融合形式的有Decision Tree),之后还包括一些aggregation model的aggregation,比如Random Forest、Gradient Boosted Decision Tree等。利用aggregation model进行机器学习有以下两方面的考量:1)cure of underfitting:比如AdaBoost-Stump,对于单个Decision Stump进行分类或拟合时,很显然是能力不够的underfitting,我们需要提升G的能力,而通过aggregation就可以使得G变得strong和powerful;2)cure of overfitting:比如classification来说,我们通过aggregation得到了类似support vector的large margin的效果,即我们选择的是“moderate”的那个线(最明显的例子就是对于PLA,我得到了一堆的二维平面上可以分开的g,那么我通过融合后得到的G实际上是moderate,对应SVM中的large margin),从而实现了regularization的效果,能抑制overfitting。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 现代计算机视觉入门之:什么是图片特征编码
· .NET 9 new features-C#13新的锁类型和语义
· Linux系统下SQL Server数据库镜像配置全流程详解
· 现代计算机视觉入门之:什么是视频
· Sdcb Chats 技术博客:数据库 ID 选型的曲折之路 - 从 Guid 到自增 ID,再到
· .NET Core GC压缩(compact_phase)底层原理浅谈
· Winform-耗时操作导致界面渲染滞后
· Phi小模型开发教程:C#使用本地模型Phi视觉模型分析图像,实现图片分类、搜索等功能
· 语音处理 开源项目 EchoSharp