提升树是采用加法模型和和前向分步算法,前向分布算法,我在前一篇博客刚刚讲过,加法模型也在前向分步算法中介绍过,若是不了解可以看一看。 首先,提升树模型可以表示为决策树的加法模型:
T()表示决策树模型,x是输出特征,x右边的数学符号是模型参数。分布算法在提升树中的应用如下 所以和我之前在前向分步算法中讲的一样,每一轮训练一个基函数的参数,在前一轮的基础上。这里还有一个概念把 在提升树解决回归问题时叫做残差,实际上,我们每一轮的训练就是在让那一轮的基函数拟合残差。