摘要：
传统的GBDT是以CART作为基分类器，xgboost还支持线性分类器，这个时候XGBOOST相当于带L1和L2正则化的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。传统的GBDT在优化的hih只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下 阅读全文
摘要：
百融金服： 总体面试官很好，一共三个人面我，一个leader，两个员工，一起面： 自我介绍基本必不可少 1、逻辑回归的推导 2、参加竞赛的讲述（要细致，我每次面试都会带上纸和笔方便讲述） 3、项目的评判标准 4、GBDT为什么不能并行 5、XGBoost的用途，怎么用？ 基本就问这三大类，但是很注重 阅读全文
摘要：
1、梯度下降法 梯度下降法是最早最简单的，也是最为常用的最优化算法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被 阅读全文