提升算法——Adaboost
思路:通过改变训练样本权重,学习多个分类器,并将这些分类器进行线性组合,提高分类器性能。大多数提升方法都是改变训练数据的概率分布(数据的权值)
强可学习:存在一个多项式的学习算法能够学习他,并且正确率很高
弱可学习:存在一个多项式学习算法学习,正确率比随机猜测要好一些
具体问题:
(1)在每一轮如何改变数据权值:提高被前一轮分类器错误分类样本的权值
(2)如何将弱分类器组成强分类器:加权多数表决法,加大正确率高(误差率小)的弱分类器的权值
AdaBoost算法: