2) Chernoff bound, Hoeffding's Lemma, Hoeffding's inequality

防盗 https://www.cnblogs.com/setdong/p/17370017.html

1. Chernoff bound (切尔诺夫限)

Given a random variable (r.v.) X and ϵ>0, for any t>0 the following inequality holds:

Pr[Xϵ]=Pr[etXetϵ]etϵM(t)

where M(t)=E[etX] called moment-generating function (矩生成函数).

证明: 将 Markov's inequality 中的 ϵetϵ 代替, E[X]E[etX] 代替, 所以上界应为 E[etX]/etϵ=etϵM(t).

2. Hoeffding's Lemma (the upper bound of moment-generating funtion)

Let X be a r.v. with E[X]=0 and X[a,b],(b>a). Then for any t>0:

E[etX]expt2(ba)28

证明:
由于 t>0, etxconvex 函数, 所以有以下性质:

etxbxbaeta+xabaetb

所以 (用到了期望的特性和给定条件 E[X]=0)

E[etX]E[bXbaeta+Xabaetb]=bbaeta+abaetb=eϕ(t)

其中 ϕ(t)=ta+log(bba+abaet(ba)). 接下来的证明是根据 ϕ(t) 的一阶导和二阶导求 ϕ(t) 的上界, 省去大量的计算公式直接给出结论: ϕ(t)t2(ba)28.

3. Hoeffding's inequality

Let X1,...,Xm be n independent r.v.s with Xi[ai,bi],(bi>ai), and Sm be the sum of them (Sm=i=1mXi). Then for any ϵ>0:

Pr[SmE[Sm]ϵ]exp2ϵ2i=1m(biai)2

or

Pr[SmE[Sm]ϵ]exp2ϵ2i=1m(biai)2

证明:

第一行用到了 Chernoff bound, 第二行将 Sm 替换成累加, 移出指数函数外就是累乘, 如果蓝线部分为 Yi, 可以算出它的期望和区间 (右侧蓝色部分), 随机变量 Yi 满足 Hoeffding's lemma 的条件, 所以可以使用这个定理得出第三行, 公式整理后得到第四行. 这里的 t 只要满足大于 0 取任何值不等式都成立, 所以令 t 等于右下角黑色字体的公式, 整理后即为Hoeffding's inequality 的形式.

Hoeffding's inequality 用处十分广泛, 比较重要.
防盗 https://www.cnblogs.com/setdong/p/17370017.html

posted @   李斯赛特  阅读(296)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· ollama系列1:轻松3步本地部署deepseek,普通电脑可用
· 按钮权限的设计及实现
· 【杂谈】分布式事务——高大上的无用知识?
点击右上角即可分享
微信分享提示