摘要:
传统的GBDT是以CART作为基分类器,xgboost还支持线性分类器,这个时候XGBOOST相当于带L1和L2正则化的逻辑斯蒂回归(分类问题)或者线性回归(回归问题)。传统的GBDT在优化的hih只用到一阶导数信息,xgboost则对代价函数进行了二阶泰勒展开,同时用到了一阶和二阶导数。顺便提一下 阅读全文
摘要:
百融金服: 总体面试官很好,一共三个人面我,一个leader,两个员工,一起面: 自我介绍基本必不可少 1、逻辑回归的推导 2、参加竞赛的讲述(要细致,我每次面试都会带上纸和笔方便讲述) 3、项目的评判标准 4、GBDT为什么不能并行 5、XGBoost的用途,怎么用? 基本就问这三大类,但是很注重 阅读全文
摘要:
1、梯度下降法 梯度下降法是最早最简单的,也是最为常用的最优化算法。梯度下降法实现简单,当目标函数是凸函数时,梯度下降法的解是全局解。一般情况下,其解不保证是全局最优解,梯度下降法的速度未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向,因为该方向为当前位置的最快下降方向,所以也被 阅读全文