摘要：
一、XGBoost算法的原理 1 最终模型形式： XGBoost和GBDT、AdaBoost使用的最终模型形式相同，其中m为第m轮得到的弱模型： $$y_{x}=\sum_{m}^{M}\hat{f}_{m}(x)$$ 2 目标函数 $$L^{(m)}=\sum_{i}^{N}l(y_{i},\ha 阅读全文
摘要：
一、简介 GBDT为梯度提升树，是提升树的一种改进形式。 二、算法原理 （1）初始化弱模型 $$f_{0}(x_{i})=arg\min_{c}\sum_{i=1}^{N}L(y_{i},c)$$ （2）在第m轮模型的计算中 （a）对每个样本i，计算负梯度 $$r_{im}=-\frac{\part 阅读全文