xgboost学习问题记录

一、学习xgboost比较好的博客

• 模型基础理论知识：https://www.jianshu.com/p/7467e616f227
• 模型调优：https://www.cnblogs.com/lvpengbo/p/8822318.html

二、模型中问题整理

　　1.模型目标函数中为什么要加入叶子节点值（leaf value）

　　xgboost模型的目标函数还有两部构成，一部分是损失函数，另一部分是模型复杂度。其中，目标函数的公式：

    

        模型复杂度的公式：

        

　　损失函数相对好理解一些，即当前预测值与真实值的差距；模型的复杂度又由两部分组成：树中叶子节点个数与叶子节点值，叶子节点越多模型的结构越复杂，那叶子节点的值与复杂度的关系是什么。XGBoost模型是由多个基模型（树）组成，如果每一个基模型的值较小，那么目标值每次更新的幅度就会相对小一些，从而某个树对模型的影响。从公式上来看，当γ的值越大，越希望获得结构简单的树；当λ的值越大，叶子节点个数T固定时，越希望叶子节点值小一些。