1) Markov's inequality, Chebyshev's inequality, Weak law of large numbers

防盗 https://www.cnblogs.com/setdong/p/17325420.html

1. Markov's inequality

Theorem: $X$ 为非负随机变量, 且 $\mathbb{E}[X]<\infty$. 那么对于任意 $t>0$ 有

$$\mathbb{P}[X\geq t\mathbb{E}[X]]\leq\frac{1}{t}$$

或对于任意的 $\epsilon>0$ 有

$$\mathbb{P}[X\geq\epsilon]\leq\frac{\mathbb{E}[X]}{\epsilon}$$

证明, 以上两式等价, 这里证第一个:

由定义有

$$\mathbb{P}[X\geq t\mathbb{E}[X]]=\sum_{x:x\geq t\mathbb{E}[X]}\mathbb{P}[X=x]$$

对于$x\geq t\mathbb{E}[X]$ 部分, 有 $\frac{x}{t\mathbb{E}[X]}\geq 1$, 所以

$$\mathbb{P}[X\geq t\mathbb{E}[X]]\leq\sum_{x:x\geq t\mathbb{E}[X]}\mathbb{P}[X=x]\frac{x}{t\mathbb{E}[X]}$$

对于$x < t\mathbb{E}[X]$ 部分, 有 $\mathbb{P}[X=x]\frac{x}{t\mathbb{E}[X]}\geq 0$ , 所以加上这些非负部分, 有:

$$\mathbb{P}[X\geq t\mathbb{E}[X]]\leq\sum_{x}\mathbb{P}[X=x]\frac{x}{t\mathbb{E}[X]}=\frac{\mathbb{E}[X]}{t\mathbb{E}[X]}=\frac{1}{t}$$

2. Chebyshev's inequality

Theorem: $X$ 为随机变量, 且 $\text{Var}[X]<\infty$ (方差). 那么对于任意 $t>0$ 有

$$\mathbb{P}[|X-\mathbb{E}[X]|\geq t\text{Var}[X]^{\frac{1}{2}}]\leq\frac{1}{t^2}$$

或对于任意$\epsilon>0$ 有

$$\mathbb{P}[|X-\mathbb{E}[X]|\geq \epsilon]\leq\frac{\text{Var}[X]}{\epsilon^2}$$

证明:

首先有

$$\mathbb{P}[|X-\mathbb{E}[X]|\geq t\text{Var}[X]^{\frac{1}{2}}]=\mathbb{P}[(X-\mathbb{E}[X])^2\geq t^2\text{Var}[X]]$$

然后对上式右侧应用 Markov's inequality, 其中$X$ 是 $(X-\mathbb{E}[X])^2$, $\epsilon$ 是 $t^2\text{Var}[X]^2$

$$\mathbb{P}[(X-\mathbb{E}[X])^2\geq t^2\text{Var}[X]]\leq \frac{\mathbb{E}[(X-\mathbb{E}[X])^2]}{t^2\text{Var}[X]}=\frac{1}{t^2}$$

其中 $\mathbb{E}[(X-\mathbb{E}[X])^2]=\text{Var}[X]$ 为方差的定义.

3. Weak law of large numbers

Theorem: $(X_n)_{n\in\mathbb{N}}$ 是一列独立的随机变量, 它们有相同的期望 $\mu$ 和方差 $\sigma^2>\infty$. $\bar{X}_n=\frac{1}{n}\sum_{i=1}^n X_i$ 为均值. 那么对于任意的 $\epsilon>0$ 有

$$\lim_{n\rightarrow\infty}\mathbb{P}[|\bar{X}_n-\mu|\geq\epsilon]=0$$

证明:

已知变量是独立的, 根据期望和方差的特性有,

$$\mathbb{E}[\bar{X}_n]=\sum_{i=1}^n \frac{\mu}{n}=\mu\\ \text{Var}[\bar{X}_n]=\sum_{i=1}^n \frac{\sigma^2}{n^2}=\frac{\sigma^2}{n}$$

对上式使用 Chebyshev's inequality, 其中 $t=\epsilon/\text{Var}[\bar{X}_n]^{\frac{1}{2}}$, 有

$$\mathbb{P}[|\bar{X}_n-\mu|\geq\epsilon]\leq\frac{\sigma^2}{n\epsilon^2}$$

所以当 $n$ 趋于无穷时, 概率趋于 $0$. 可以理解为样本均值依概率收敛于期望值.
防盗 https://www.cnblogs.com/setdong/p/17325420.html