2) Chernoff bound, Hoeffding's Lemma, Hoeffding's inequality
防盗
https://www.cnblogs.com/setdong/p/17370017.html
1. Chernoff bound (切尔诺夫限)
Given a random variable (r.v.) and , for any the following inequality holds:
where called moment-generating function (矩生成函数).
证明: 将 Markov's inequality 中的 用 代替, 用 代替, 所以上界应为 .
2. Hoeffding's Lemma (the upper bound of moment-generating funtion)
Let be a r.v. with and . Then for any :
证明:
由于 , 为 convex 函数, 所以有以下性质:
所以 (用到了期望的特性和给定条件 )
其中 . 接下来的证明是根据 的一阶导和二阶导求 的上界, 省去大量的计算公式直接给出结论: .
3. Hoeffding's inequality
Let be independent r.v.s with , and be the sum of them (). Then for any :
or
证明:
第一行用到了 Chernoff bound, 第二行将 替换成累加, 移出指数函数外就是累乘, 如果蓝线部分为 , 可以算出它的期望和区间 (右侧蓝色部分), 随机变量 满足 Hoeffding's lemma 的条件, 所以可以使用这个定理得出第三行, 公式整理后得到第四行. 这里的 只要满足大于 0 取任何值不等式都成立, 所以令 等于右下角黑色字体的公式, 整理后即为Hoeffding's inequality 的形式.
Hoeffding's inequality 用处十分广泛, 比较重要.
防盗
https://www.cnblogs.com/setdong/p/17370017.html
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· ollama系列1:轻松3步本地部署deepseek,普通电脑可用
· 按钮权限的设计及实现
· 【杂谈】分布式事务——高大上的无用知识?