树模型及其衍生

参考链接：https://zhuanlan.zhihu.com/p/280222403
一GBDT的基础
树的发展

1.CART树可以分为回归树与决策树，其中GBDT中的树是CART回归树，

CART回归模型的数学表示如下

2.集成学习
通过构建多个分类器共同成完成学习任务，主要分为bagging和boosting

3.梯度下降

二GBDT的原理

1.提升树原理

2.提升树例子 见原博客

4.GBDT残差
Boosting tree的残差是真实值与预测值的差
GBDT拟合负梯度，（xgboost）拟合的是极限负梯度

为什么用负梯度拟合残差呢

5.