摘要:
LightGBM提出两种新方法:Gradient-based One-Side Sampling (GOSS) 和Exclusive Feature Bundling (EFB)(基于梯度的one-side采样和互斥的特征捆绑) Gradient-based One-Side Sampling 针对 阅读全文
摘要:
XGBoost是GBDT的改进和重要实现,主要在于: 提升算法 XGBoost也是一个加法模型,首先其在目标函数中加入了正则化项: 泰勒级数 yi(t)是第i个实例在第t次迭代的预测值,需要加入 ft来最小化以下目标 通过泰勒二阶展开近似来快速优化目标函数 其中 即l的一阶和二阶导数。移除常数项得到 阅读全文