[转]集成学习-如何产生并结合”好而不同“的个体学习器

Hoeffding霍夫丁不等式

在<<机器学习>>第八章"集成学习"部分, 考虑二分类问题y∈{−1,+1}$y\in \{-1,+1\}$ 和真实函数f$f$, 假定基分类器的错误率为ϵ$ϵ$, 即对每个基分类器hi$h_i$有

P(hi(x)≠f(x))=ϵ(1)$$\begin{array}{}\text{(1)}& P(h_i(x)\ne f(x))=ϵ\end{array}$$

假设集成通过简单投票法结合T$T$个基分类器, 若有超过半数的基分类器正确, 则集成分类就正确:

H(x)=sign(∑i=1Thi(x))(2)$$\begin{array}{}\text{(2)}& H(x)=sign(\sum _{i=1}^T{h}_i(x))\end{array}$$

假设基分类器的错误率相互独立, 则由Hoeffding不等式可知, 集成的错误率为:

P(H(x)≠f(x))=∑k=0⌊T/2⌋(Tk)(1−ϵ)kϵT−k≤exp(−12T(1−2ϵ)2)(3)$$\begin{array}{}\text{(3)}& \begin{array}{rl}P(H(x)\ne f(x))& =\sum _{k=0}^{\lfloor T/2\rfloor }(\genfrac{}{}{0ex}{}{T}{k})(1-ϵ{)}^k{ϵ}^{T-k}\\ & \le exp(-\frac{1}{2}T(1-2ϵ{)}^2)\end{array}\end{array}$$

对怎么得到小于等于之后的式子不甚明白.

维基百科上Hoeffding不等式的介绍是:

Hoeffding不等式适用于有界的随机变量. 设有两两独立的一系列随机变量X1,...,Xn$X_1,...,X_n$. 假设对所有的1≤i≤n$1\le i\le n$, Xi$X_i$都是几乎有界的变量, 即满足:

P(Xi∈[ai,bi])=1.(4)$$\begin{array}{}\text{(4)}& \mathbb{P}(X_i\in [a_i,b_i])=1.\end{array}$$

那么这n个随机变量的经验期望:

X¯¯¯¯=X1+⋅⋅⋅+Xnn(5)$$\begin{array}{}\text{(5)}& \overline{X}=\frac{X_1+\cdot \cdot \cdot +X_n}{n}\end{array}$$

满足以下的不等式:

P(X¯¯¯¯−E[X¯¯¯¯]≥t)≤exp(−2t2n2∑ni=1(bi−ai)2)(6)$$\begin{array}{}\text{(6)}& \mathbb{P}(\overline{X}-\mathbb{E}[\overline{X}]\ge t)\le exp(-\frac{2t^2{n}^2}{\sum _{i=1}^n(b_i-a_i{)}^2})\end{array}$$

P(|X¯¯¯¯−E[X¯¯¯¯]|≥t)≤2exp(−2t2n2∑ni=1(bi−ai)2)(7)$$\begin{array}{}\text{(7)}& \mathbb{P}(|\overline{X}-\mathbb{E}[\overline{X}]|\ge t)\le 2exp(-\frac{2t^2{n}^2}{\sum _{i=1}^n(b_i-a_i{)}^2})\end{array}$$

先记这些定义吧, 证明以后有兴趣再看吧....

伯努利随机变量的特例

假定一个硬币A面朝上的概率为p$p$, 则B面朝上的概率为1−p$1-p$. 抛n次硬币, A面朝上次数的期望值为n∗p$n\ast p$. 则A面朝上的次数不超过k次的概率为:

P(H(n)≤k)=∑i=0kCinpi(1−p)n−i=∑i=0kn!i!(n−i)!pi(1−p)n−i(8)$$\begin{array}{}\text{(8)}& \begin{array}{rl}P(H(n)\le k)& =\sum _{i=0}^k{C}_n^i{p}^i(1-p{)}^{n-i}\\ & =\sum _{i=0}^k\frac{n!}{i!(n-i)!}{p}^i(1-p{)}^{n-i}\end{array}\end{array}$$

H(n)$H(n)$为抛n次硬币A面朝上的次数

对某一ε>0$\epsilon >0$当k=(p−ε)n$k=(p-\epsilon )n$ 时, 有Hoeffding不等式

P(H(n)≤(p−ε)n)≤e−2ε2n(9)$$\begin{array}{}\text{(9)}& P(H(n)\le (p-\epsilon )n)\le e^{-2{\epsilon }^{2}n}\end{array}$$

对应的, 当k=(p+ε)n$k=(p+\epsilon )n$ 时,

P(H(n)≥(p+ε)n)≤e−2ε2n(10)$$\begin{array}{}\text{(10)}& P(H(n)\ge (p+\epsilon )n)\le e^{-2{\epsilon }^{2}n}\end{array}$$

由此可得

P((p−ε)n≤H(n)≤(p+ε)n)≥1−2e−2ε2n(11)$$\begin{array}{}\text{(11)}& P((p-\epsilon )n\le H(n)\le (p+\epsilon )n)\ge 1-2e^{-2{\epsilon }^{2}n}\end{array}$$

利用式(9)可推式(3)

式(3)的1−ϵ$1-ϵ$ 相当于式(9)的p$p$ , 令H(n)$H(n)$为基分类器分类正确的数量, 有

P(H(x)≠f(x))=P(H(n)≤⌊T2⌋)(12)$$\begin{array}{}\text{(12)}& P(H(x)\ne f(x))=P(H(n)\le \lfloor \frac{T}{2}\rfloor )\end{array}$$

总分类器的数量为T$T$(就是n), 令T2=(1−ϵ−ε)T$\frac{T}{2}=(1-ϵ-\epsilon )T$, 可推得ε=12−ϵ$\epsilon =\frac{1}{2}-ϵ$ , 根据式(9)可得

P(H(n)≤⌊T2⌋)≤exp(−2(ϵ−12)2T)=exp(−2(ϵ2+14−ϵ)T)=exp(−T2(4ϵ2+1−4ϵ))=exp(−12T(1−2ϵ)2)(13)$$\begin{array}{}\text{(13)}& \begin{array}{rl}P(H(n)\le \lfloor \frac{T}{2}\rfloor )& \le exp(-2(ϵ-\frac{1}{2}{)}^{2}T)\\ & =exp(-2({ϵ}^2+\frac{1}{4}-ϵ)T)\\ & =exp(-\frac{T}{2}(4{ϵ}^2+1-4ϵ))\\ & =exp(-\frac{1}{2}T(1-2ϵ{)}^2)\end{array}\end{array}$$

便得到式(3)得最终不等式形式

可以看出：随着M趋近于无穷， 集成学习器预测错误的概率 p趋近于零

上述推论有非常关键的一个地方：假设基分类器的错误率相互独立。

①实际上个体学习器是为了解决同一个问题训练出来的，而且可能是同一类算法从同一个训练集中产生。

    这样个体学习器的错误率显然不能相互独立。

②实际上个体学习器的准确性和多样性本身就存在冲突。

   通常个体学习器的准确性很高之后，要增加多样性就需要牺牲准确性。
   实际上如何产生并结合”好而不同“的个体学习器就是集成学习研究的核心。