提升方法要点

1.提升方法是将弱学习算法提升为强学习算法的统计学习方法，在分类学习中，提升方法通过反复修改训练数据的权值分布，构建一系列基本分类器，并将这些基本的分类器线性组合，构成一个强分类器，代表性的提升方法是AdaBoost算法。

2.AdaBoost算法的特点是通过迭代每次学习一个基本分类器，每次迭代中提高那些被前一轮分类器错误分类数据的权值，而降低那些被正确分类的数据的权值。最后，AdaBoost将基本分类器的线性组合作为强分类器，其中给分类误差率小的基本分类器以大的权值，给分类误差率大的基本分类器以小的权值。

3.AdaBoost的训练误差分析表明，AdaBoost每次迭代迭代可以减少它在训练数据集上的分类误差率，这说明了它作为提升方法的有效性。

4.AdaBoost算法的一个解释是该算法实际是前向分步算法的一个实现，在这个算法里，模型是加法模型，损失函数是指数函数，算法是前向分步算法。

5.提升树是以分类树和回归树为基本分类器的提升方法。提升树被认为是统计学习中最有效的方法之一。