概率笔记 P05：大数定律和中心极限定理

1 切比雪夫不等式

设随机变量\(X\)的数学期望\(E(X)\)和方差\(D(X)\)存在，则对任何的\(\varepsilon \gt 0\)，总有

\[P\{|X-E(X)| \ge \varepsilon\} \le \cfrac {D(X)}{\varepsilon^2} \]

2 依概率收敛

设\(X_1, X_2, \cdots, X_n, \cdots\)是一个随机变量序列，\(A\)是一个常数，如果对任意\(\varepsilon \gt 0\)，有\(\displaystyle \lim_{n \to +\infty} P\{|X_n - A| \lt \varepsilon\} = 1\)，则称随机变量序列\(X_1, X_2, \cdots, X_n, \cdots\)依概率收敛于\(A\)。

3 切比雪夫大数定律

设\(X_1, X_2, \cdots, X_n, \cdots\)为相互独立的随机变量序列，存在常数\(C\)，使\(D(X_i) \le C (i = 1, 2, \cdots)\)，则对任意\(\varepsilon \gt 0\)，有

\[\displaystyle \lim_{n \to +\infty} P \left\{ \left| \cfrac 1n \sum_{i = 1}^n X_i - \cfrac 1n \sum_{i = 1}^n E(X_i) \right| \lt \varepsilon \right\} = 1 \]

4 辛钦大数定律

设随机变量\(X_1, X_2, \cdots, X_n, \cdots\)独立同分布，具有数学期望\(E(X_i) = \mu, i = 1, 2, \cdots\)，则对任意\(\varepsilon \gt 0\)，有

\[\displaystyle \lim_{n \to +\infty} P \left\{ \left| \cfrac 1n \sum_{i=1}^n X_i - \mu \right| \lt \varepsilon \right\} = 1 \]

5 伯努利大数定律

设随机变量\(X_n \sim B(n, p), n = 1, 2, \cdots\)，则对于任意\(\varepsilon \gt 0\)，有

\[\displaystyle \lim_{n \to +\infty} P \left\{ \left| \cfrac {X_n}n - p \right| \lt \varepsilon \right\} = 1 \]

6 列维-林德伯格中心极限定理

设随机变量\(X_1, X_2, \cdots, X_n, \cdots\)独立同分布，\(E(X_n) = \mu,D(X_n) = \sigma^2, n = 1, 2, \cdots\)，则对任意实数\(x\)，有

\[\displaystyle \lim_{n \to +\infty} P \left\{ \cfrac {\sum_{i=1}^n X_i - n\mu}{\sqrt{n} \sigma} \le x \right\} = \varPhi(x) \]

表明当\(n\)充分大时，\(\cfrac {\sum_{i=1}^n X_i - n\mu}{\sqrt{n} \sigma} \sim N(0, 1)\)。

7 棣莫弗-拉普拉斯中心极限定理

设随机变量\(X_n \sim B(n, p), n = 1, 2, \cdots\)，则对任意实数\(x\)，有

\[\displaystyle \lim_{n \to +\infty} P \left\{ \cfrac {X_n - np}{\sqrt{np(1-p)}} \le x \right\} = \varPhi(x) \]

表明当\(n\)充分大时，\(\cfrac {X_n - np}{\sqrt{np(1-p)}} \sim N(0, 1)\)。

8 李雅普诺夫中心极限定理

设随机变量\(X_1, X_2, \cdots, X_n, \cdots\)相互独立，\(E(X_i) = \mu_i, D(X_i) = \sigma_i^2, i = 1, 2, \cdots\)。记\(B_n^2 = \displaystyle \sum_{i=1}^n \sigma_i^2\)，若存在正数\(\delta\)，使得\(\displaystyle \lim_{n \to +\infty}\cfrac 1{B_n^{2+\delta}} \sum_{i = 1}^n E(|X_i - \mu_i|^{2+\delta}) = 0\)，则有

\[\displaystyle \lim_{n \to +\infty} P \left\{ \cfrac {\sum_{i=1}^n X_i - \sum_{i=1}^n \mu_i}{B_n} \le x \right\} = \varPhi(x) \]

表明当\(n\)充分大时，\(\cfrac {\sum_{i=1}^n X_i - \sum_{i=1}^n \mu_i}{B_n} \sim N(0, 1)\)。