Boost家族

大师Yoav Freund在文章《A decision-theoretic generalization of on-line leanring and an application to boosting》

AdaBoost.M1（adaBoost的多分类版本号）

—————————————————————————————————————————————————————

设序列，当中为的标签。。且。。服从分布。设为循环次数（弱分类器的个数）。

初始化序列的权重，，

：

1.归一化:

。

2.依照概率分布，对序列进行抽样分布，形成第次循环的训练数据集，得到弱分类器：。

3.计算弱分类器在数据集的错误率。假设，令，且跳出循环。

4.令（注：）。

5.令新的权重：

。

（注：我们发现对于分类正确的序列，它的权重降低，分类错误的序列，权重增大）

循环结束后，输出分类器映射：

。

_______________________________________________________________________________________________________________________________

________________________________________________________________________________________________________________________________

大师 JerRome Friedman、Tervor Hastie、Robert Tibshirani在文章《Additive Logistic Regression :a Statistical View of Boosting》，对AdaBoost.M1的二分类版本号，做了更加清晰的描写叙述。即：

Discrete AdaBoost（二分类）

—————————————————————————————————————————————————————

设序列，当中为的标签，。且，，服从分布。

1.初始化：是均匀分布，即的权重，。

2.:

    (a):按概率分布对序列进行抽样分布，形成该次循环的训练数据集。然后得到弱分类器。

    (b):