Chernoff Bound与Hoeffding's Ineq

本文主要记录随机变量的Chernoff Bound和其推广Hoeffding不等式。

                                                                                                                                                                                                                                                                                                                                                       

1.单个随机变量的Chernoff Bound

设X为实随机变量,则有:

$$\Pr (X > t) \leq \inf_{s > 0} \frac{E (e^{sX})}{e^{st}}$$

证明用Markov不等式即可。

 

2.多个随机变量的Chernoff Bound

 

$X_{1, 2, \cdots, n}$独立,$X_i\in[0,1]$,$\bar{X} = \frac{1}{n} \sum_{i = 1}^n X_i$, 则有：

$$ \Pr (\bar{X} - E(\bar{X}) \geq \varepsilon) \leq \exp (- 2 n \varepsilon^2) $$

 

3.Hoeffding不等式

 

$X_{1, 2, \cdots, n}$独立,$X_i\in[a_i,b_i]$,$\bar{X} = \frac{1}{n} \sum_{i = 1}^n X_i$, 则有：

 

$$ \Pr (\bar{X} - E(\bar{X}) \geq \varepsilon) \leq \exp (- \frac{2 n \varepsilon^2}{\sum_{i=1}^n (b_i-a_i)^2})$$

 

可见Hoeffding不等式是多个随机变量的Chernoff Bound的推广

Hoeffding不等式可以有效估计有界独立随机变量的和偏离期望过远的概率