摘要：
1、GBDT是机器学习算法，而XGBoost是算法的工程实现 2、使用CART作为基分类器时，XGBoost显式的加入了正则项来控制模型的复杂度，防止过拟合，提高了模型 的泛化能力 3、GBDT只使用了代价函数的一阶导数信息，而XGBoost对代价函数进行二阶泰勒展开，同时使用一阶和二阶信息。 4、 阅读全文
摘要：
随机森林和GBDT的区别 随机森林采用的bagging思想，而GBDT采用的boosting思想。这两种方法都是Bootstrap思想的应用，Bootstrap是一种有放回的抽样方法思想。虽然都是有放回的抽样，但二者的区别在于：Bagging采用有放回的均匀取样，而Boosting根据错误率来取样（ 阅读全文