摘要：
AdaBoost算法将多个不同的决策树用一种非随机的方式组合起来，比传统决策树精度更高也更加稳定。AdaBoost的出现不仅拯救了有些式微的决策树算法，而且还开创了集成学习算法的先河。在AdaBoost的影响下，Friedman在1999年提出了梯度提升决策树算法，这种算法完美地将梯度提升算法和CART算法结合起来，不仅可以用于回归问题，同样也可以应用于分类问题中。GBDT被很多人认为是传统机器学习中位居Top3的算法。即使这样，GBDT也并不完美，相比于AdaBoost，因为后一棵树的训练依赖于前一棵树的残差，所以其并不能进行并行训练。XGBoost是近年来针对大规模机器学习需求对GBDT提出的改进方案。XGBoost是2016年由华盛顿大学在读博士生陈天奇发布的开源框架，相关论文 XGBoost: A Scalable Tree Boosting System 也发表在机器学习与数据挖掘顶级会议KDD2016上。XGBoost较传统的GBDT算法，加入了正则项，能够更好地防止模型过拟合，并且可以并行分布式计算，极大地提高了精度和训练效率。 阅读全文
