摘要： 提升树：提升方法采用加法模型（基函数的线性组合）与前向分布算法，以决策树为基函数的提升方法为提升树。 对于一般的回归树，采用平方误差损失函数，这时根据前向分布每次只需要达到最优化，就能保证整体上的优化。由于平方误差的特殊性，可以推导出每次只需要拟合残差（真实值-预测值）。 梯度提升树：而对于其他损失 阅读全文

摘要： 转载：http://blog.csdn.net/u012162613/article/details/44261657（请移步原文） 正则化方法：防止过拟合，提高泛化能力 在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练 阅读全文