GBDT

GBDT（Gradient Boosting Decision Tree）是一种基于迭代所构造的决策树算法，它又可以简称为MART（Multiple Additive Regression Tree）或GBRT（Gradient Boosting Regression Tree）

gbdt通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练。对弱分类器的要求一般是足够简单，并且是低方差和高偏差的。因为训练的过程是通过降低偏差来不断提高最终分类器的精度，（此处是可以证明的）

优点：

• 预测精度高
• 适合低维数据
• 能处理非线性数据

缺点：

• 并行麻烦（因为上下两棵树有联系）
• 如果数据维度较高时会加大算法的计算复杂度

GBDT的树都是回归树，不是分类树。

GBDT的核心就在于，每一棵树学的是之前所有树结论和的残差

残差的意思就是： A的预测值 + A的残差 = A的实际值