集成学习——机器学习(周志华)

集成学习

目录：

• 个体和集成
• Boosting
• Bagging与随机森林
  • Bagging
  • 随机森林
• 综合策略
  • 平均法
  • 投票法
  • 学习法
• 多样性
  • 误差-分歧分解
  • 多样性度量
  • 多样性增强

内容：

个体和集成

集成学习是通过构建并结合多个学习器来完成学习任务，如下图，集成学习通过将多个学习器结合，获得比单一学习器显著优越的泛化性能。集成学习分为同质集成和异质集成，如果个体学习器全是一种算法称为同质集成，如果由不同算法生成，称为异质集成。基学习器是对于同质集成说的。

• 要获得好的集成，个体学习器应该“好而不同”。如下图，图1中每个分类器只有66.6%的精度，集成之后精度为100%，图2中集成之后性能没有提高，图3中每个分类器只有33.3%的精度，集成之后变得更糟。
  

• 目前集成学习方法大致分为两大类。

  • 个体学习器间存在强依赖关系、必须串行生成得序列化方法（Boosting）
  • 个体学习器间不存在强依赖关系、可同时生成得并行化方法（Bagging和随机森林）

Boosting

Boosting的原理图如下

Boosting族算法最著名得代表是Adaboost。Adaboost算法流程如下，详细流程见集成学习之Adaboost算法原理小结，另外梯度提升树(GBDT)原理小结

Bagging与随机森林

Bagging

Bagging的原理图如下

• Bagging采样出T个含m个训练样本的采样集，然后基于每个采样集训练出一个基学习器，再将这些及学习器进行结合。
• 采样的方法使用自助采样法。
• 从偏差-方差分解的角度看，Bagging主要关注降低方差，因此它在不剪枝决策树、神经网络等易受样本扰动的学习器上效果更明显。

随机森林

随机森林是Bagging的一个扩展变体，是以决策树为及学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入随机属性选择。具体来说，传统决策树在选择划分属性时是在当前结点的属性集合(假定有d 个属性)中选择一个最优属性;而在RF 中，对基决策树的每个结点，先从该结点的属性集合中随机选择一个包含k个属性的子集，然后再从这个子集中选择一个最优属性用于划分. 这里的参数k 控制了随机性的引入程度;若令$k = d$, 则基决策树的构建与传统决策树相同;若令k = 1 ， 则是随机选择一个属性用于划分; 一般情况下，推荐值$k = log_2 d$。

综合策略

平均法

对于回归任务通常使用平均法。

• 简单平均法
  $H(\bm{x}) = \frac{1}{T}\sum_{i=1}^{T}h_i(\bm{x})$
• 加权平均法
  $H(\bm{x}) = \sum_{i=1}^{T}\omega_ih_i(\bm{x})$

投票法
对于分类任务通常使用投票法。

• 绝对多数投票法
  $H(\bm{x})= \begin{cases} c_i, & if \quad \sum_{i=1}^{T}h_i^j(x) > 0.5\sum_{k=1}^N\sum_{i=1}^Th_i^k(\bm{x})\\ reject, & otherwise \end{cases}$
• 相对多数投票法
  $H(\bm{x}) = c_{arg\max \limits_{j} \sum_{i=1}^{T} h_i^j(\bm{x})}$
• 加权投票法
  $H(\bm{x}) = c_{arg\max \limits_{j} \sum_{i=1}^{T} h_i^j(\bm{x})}$

学习法
当训练数据很多时，一种更为强大的结合策略就是“学习法”，即通过一个学习器来进行结合。Stacking是学习法的典型代表。Stacking 先从初始数据集训练出初级学习器，然后"生成"一个新数据集用于训练次级学习器.在这个新数据集中，初级学习器的输出被当作样例输入特，?而初始样本的标记仍被当作样例标记. Stacking 的算法描述如图。

多样性

误差-分歧分解

多样性度量

多样性增强