机器学习技法之Aggregation方法总结：Blending、Learning（Bagging、AdaBoost、Decision Tree）及其aggregation of aggregation

本文主要基于台大林轩田老师的机器学习技法课程中关于使用融合（aggregation）方法获得更好性能的g的一个总结。包含从静态的融合方法blending（已经有了一堆的g，通过uniform：voting/average、non-uniform：linear/non-linear和condition的融合形式来获取更好地性能）。动态融合方法learning（没有一堆的g set，而是通过online learning获取g，边学习g，变边进行融合，对照于blending中的uniform融合形式的有bagging，具有uniform融合形式的有AdaBoost（Re-weighting）。具有condition融合形式的有Decision Tree）。之后还包含一些aggregation model的aggregation。比方Random Forest、Gradient Boosted Decision Tree等。利用aggregation model进行机器学习有下面双方面的考量：1）cure of underfitting：比方AdaBoost-Stump，对于单个Decision Stump进行分类或拟合时，非常显然是能力不够的underfitting。我们须要提升G的能力。而通过aggregation就能够使得G变得strong和powerful；2）cure of overfitting：比方classification来说，我们通过aggregation得到了类似support vector的large margin的效果，即我们选择的是“moderate”的那个线（最明显的样例就是对于PLA，我得到了一堆的二维平面上能够分开的g，那么我通过融合后得到的G实际上是moderate。相应SVM中的large margin），从而实现了regularization的效果，能抑制overfitting。