adaboost/gdbt/xgboos/random forestt的异同点
boosting的思想
adaboost
李航《统计学习方法》：
对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断好。
常用的迭代方法有：
重赋权法（re-weighting）：适用于可以接受带权样本的基学习器（损失函数对样本加权计算）
重采样法（re-sampling）：适用于无法接受带权样本的基学习器（抽样时不同样本抽中的概率不同）
adaboost另一种解释
adaboost = 加法模型+指数损失函数+前向分步算法 的 二类分类学习方法
指数损失函数：exp（-yf(x)）
前向分步算法：逐次（依次顺序）求解各个基分类器（函数）的参数和权重
tree boosting
以分类树或回归树为基本分类器的提升方法。
tree boosting = 加法模型 + 前部分步算法 + 决策树（分类或回归均可）
