手撸XGBoost流程（未完成）
网上的一篇文章，讲的挺清楚的。
XGBoost的原理
要注意的地方：
1.预测值y(pred)和损失函数L(y,y(hat))中的y(hat)是有一个sigmod转换的关系的，而不是直接计算的真实值y和预测值y(pred)的损失函数。
2.对损失函数求一阶和二阶导数，都是对y(hat)求的。
3.XGBoost和GBDT不太一样的地方，他没有根据基模型的准则来进行分裂（在GBDT中是根据cart树的准则进行分裂），而是直接把损失函数进行不断的推导，推出了损失函数和分裂点的关系，最后直接根据损失函数的准则进行特征选择以及切分点选择。
4.xgboost对类别变量是怎么处理的？
按照cart树的处理方式?one vs Rest?感觉应该是的
posted on 2019-10-17 09:03 静静的白桦林_andy 阅读(260) 评论(0) 编辑 收藏 举报
