1) Markov's inequality, Chebyshev's inequality, Weak law of large numbers

防盗 https://www.cnblogs.com/setdong/p/17325420.html

1. Markov's inequality

Theorem: \(X\) 为非负随机变量, 且 \(\mathbb{E}[X]<\infty\). 那么对于任意 \(t>0\) 有

\[\mathbb{P}[X\geq t\mathbb{E}[X]]\leq\frac{1}{t} \]

或对于任意的 \(\epsilon>0\) 有

\[\mathbb{P}[X\geq\epsilon]\leq\frac{\mathbb{E}[X]}{\epsilon} \]

证明, 以上两式等价, 这里证第一个:

由定义有

\[\mathbb{P}[X\geq t\mathbb{E}[X]]=\sum_{x:x\geq t\mathbb{E}[X]}\mathbb{P}[X=x] \]

对于\(x\geq t\mathbb{E}[X]\) 部分, 有 \(\frac{x}{t\mathbb{E}[X]}\geq 1\), 所以

\[\mathbb{P}[X\geq t\mathbb{E}[X]]\leq\sum_{x:x\geq t\mathbb{E}[X]}\mathbb{P}[X=x]\frac{x}{t\mathbb{E}[X]} \]

对于\(x < t\mathbb{E}[X]\) 部分, 有 \(\mathbb{P}[X=x]\frac{x}{t\mathbb{E}[X]}\geq 0\) , 所以加上这些非负部分, 有:

\[\mathbb{P}[X\geq t\mathbb{E}[X]]\leq\sum_{x}\mathbb{P}[X=x]\frac{x}{t\mathbb{E}[X]}=\frac{\mathbb{E}[X]}{t\mathbb{E}[X]}=\frac{1}{t} \]

2. Chebyshev's inequality

Theorem: \(X\) 为随机变量, 且 \(\text{Var}[X]<\infty\) (方差). 那么对于任意 \(t>0\) 有

\[\mathbb{P}[|X-\mathbb{E}[X]|\geq t\text{Var}[X]^{\frac{1}{2}}]\leq\frac{1}{t^2} \]

或对于任意\(\epsilon>0\) 有

\[\mathbb{P}[|X-\mathbb{E}[X]|\geq \epsilon]\leq\frac{\text{Var}[X]}{\epsilon^2} \]

证明:

首先有

\[\mathbb{P}[|X-\mathbb{E}[X]|\geq t\text{Var}[X]^{\frac{1}{2}}]=\mathbb{P}[(X-\mathbb{E}[X])^2\geq t^2\text{Var}[X]] \]

然后对上式右侧应用 Markov's inequality, 其中\(X\) 是 \((X-\mathbb{E}[X])^2\), \(\epsilon\) 是 \(t^2\text{Var}[X]^2\)

\[\mathbb{P}[(X-\mathbb{E}[X])^2\geq t^2\text{Var}[X]]\leq \frac{\mathbb{E}[(X-\mathbb{E}[X])^2]}{t^2\text{Var}[X]}=\frac{1}{t^2} \]

其中 \(\mathbb{E}[(X-\mathbb{E}[X])^2]=\text{Var}[X]\) 为方差的定义.

3. Weak law of large numbers

Theorem: \((X_n)_{n\in\mathbb{N}}\) 是一列独立的随机变量, 它们有相同的期望 \(\mu\) 和方差 \(\sigma^2>\infty\). \(\bar{X}_n=\frac{1}{n}\sum_{i=1}^n X_i\) 为均值. 那么对于任意的 \(\epsilon>0\) 有

\[\lim_{n\rightarrow\infty}\mathbb{P}[|\bar{X}_n-\mu|\geq\epsilon]=0 \]

证明:

已知变量是独立的, 根据期望和方差的特性有,

\[\mathbb{E}[\bar{X}_n]=\sum_{i=1}^n \frac{\mu}{n}=\mu\\ \text{Var}[\bar{X}_n]=\sum_{i=1}^n \frac{\sigma^2}{n^2}=\frac{\sigma^2}{n} \]

对上式使用 Chebyshev's inequality, 其中 \(t=\epsilon/\text{Var}[\bar{X}_n]^{\frac{1}{2}}\), 有

\[\mathbb{P}[|\bar{X}_n-\mu|\geq\epsilon]\leq\frac{\sigma^2}{n\epsilon^2} \]

所以当 \(n\) 趋于无穷时, 概率趋于 \(0\). 可以理解为样本均值依概率收敛于期望值.
防盗 https://www.cnblogs.com/setdong/p/17325420.html