2) Chernoff bound, Hoeffding's Lemma, Hoeffding's inequality

防盗 https://www.cnblogs.com/setdong/p/17370017.html

1. Chernoff bound (切尔诺夫限)

Given a random variable (r.v.) \(X\) and \(\epsilon>0\), for any \(t>0\) the following inequality holds:

\[\Pr[X \geq \epsilon] = \Pr[e^{tX}\geq e^{t\epsilon}]\leq e^{-t\epsilon}M(t) \]

where \(M(t)=\mathbb{E}[e^{tX}]\) called moment-generating function (矩生成函数).

证明: 将 Markov's inequality 中的 \(\epsilon\) 用 \(e^{t\epsilon}\) 代替, \(\mathbb{E}[X]\) 用 \(\mathbb{E}[e^{tX}]\) 代替, 所以上界应为 \(\mathbb{E}[e^{tX}]/e^{t\epsilon}=e^{-t\epsilon}M(t)\).

2. Hoeffding's Lemma (the upper bound of moment-generating funtion)

Let \(X\) be a r.v. with \(\mathbb{E}[X]=0\) and \(X\in[a,b], (b>a)\). Then for any \(t>0\):

\[\mathbb{E}[e^{tX}]\leq \exp{\frac{t^2(b-a)^2}{8}} \]

证明:
由于 \(t>0\), \(e^{tx}\) 为 convex 函数, 所以有以下性质:

\[e^{tx}\leq \frac{b-x}{b-a}e^{ta}+\frac{x-a}{b-a}e^{tb} \]

所以 (用到了期望的特性和给定条件 \(\mathbb{E}[X]=0\))

\[\mathbb{E}[e^{tX}]\leq \mathbb{E}[\frac{b-X}{b-a}e^{ta}+\frac{X-a}{b-a}e^{tb}] = \frac{b}{b-a}e^{ta}+\frac{-a}{b-a}e^{tb} =e^{\phi(t)} \]

其中 \(\phi(t)=ta+\log(\frac{b}{b-a}+\frac{-a}{b-a}e^{t(b-a)})\). 接下来的证明是根据 \(\phi(t)\) 的一阶导和二阶导求 \(\phi(t)\) 的上界, 省去大量的计算公式直接给出结论: \(\phi(t)\leq \frac{t^2(b-a)^2}{8}\).

3. Hoeffding's inequality

Let \(X_1,...,X_m\) be \(n\) independent r.v.s with \(X_i\in[a_i,b_i], (b_i>a_i)\), and \(S_m\) be the sum of them (\(S_m = \sum_{i=1}^{m}X_i\)). Then for any \(\epsilon>0\):

\[\Pr[S_m-\mathbb{E}[S_m] \geq \epsilon]\leq \exp{\frac{-2\epsilon^2}{\sum_{i=1}^m (b_i-a_i)^2}} \]

or

\[\Pr[S_m-\mathbb{E}[S_m] \leq -\epsilon]\leq \exp{\frac{-2\epsilon^2}{\sum_{i=1}^m (b_i-a_i)^2}} \]

证明:

第一行用到了 Chernoff bound, 第二行将 \(S_m\) 替换成累加, 移出指数函数外就是累乘, 如果蓝线部分为 \(Y_i\), 可以算出它的期望和区间 (右侧蓝色部分), 随机变量 \(Y_i\) 满足 Hoeffding's lemma 的条件, 所以可以使用这个定理得出第三行, 公式整理后得到第四行. 这里的 \(t\) 只要满足大于 0 取任何值不等式都成立, 所以令 \(t\) 等于右下角黑色字体的公式, 整理后即为Hoeffding's inequality 的形式.

Hoeffding's inequality 用处十分广泛, 比较重要.
防盗 https://www.cnblogs.com/setdong/p/17370017.html