大数定律与中心极限定理

Markov & Chebyshev Inequality

示性函数

$$\mathbb{I}(A) = \begin{cases} 1, & A \text{ happen } \\ 0, & A \text{ not happen} \end{cases}$$

对于事件$A$，如果对于样本点$\omega$有示性函数

$$I_A(\omega) = \begin{cases} 1, & \omega \in A \\ 0, & \omega \notin A \end{cases}$$

那么可以证明

$$\mathbb{E}[I_A] = \sum_\omega I_A(\omega) \times P(\omega) = 1 \times P(A) = P(A)$$

Markov Inequality

如果$X$是一个非负随机变量，那么对于任意的$a > 0$，有

$$P(X \geq a) \leq \frac{\mathbb{E}[X]}{a}$$

这个不等式粗略刻画了随机变量取值大于等于$a$的概率上界。

proof

我们定义示性函数，固定正数$a$，那么有

$$\mathbb{I}(X \geq a) = \begin{cases} 1, & X \geq a \\ 0, & X < a \end{cases}$$

那么我们可以得到:

$$\mathbb{I}(X \geq a) \leq \frac{X}{a}$$

因此我们可以得到一个不等式

$$P(X \geq a) = \sum_x P(x) \mathbb{I}(X \geq a) \leq \sum_x P(x) \frac{X}{a} = \frac{\mathbb{E}[X]}{a}$$

proof end

Chebyshev Inequality

如果$X$是一个随机变量，那么对于任意的$\epsilon > 0$，有

$$P(|X - \mathbb{E}[X]| \geq \epsilon) \leq \frac{\text{var}(X)}{\epsilon^2}$$

这个不等式粗略刻画了随机变量取值与期望值的偏离程度。使用了随机变量的期望与方差的信息。

proof

我们定义示性函数

$$\mathbb{I}((X - \mathbb{E}[X])^2 \geq \epsilon^2) = \begin{cases} 1, & (X - \mathbb{E}[X])^2 \geq \epsilon^2 \\ 0, & (X - \mathbb{E}[X])^2 < \epsilon^2 \end{cases}$$

我们可知

$$\mathbb{I}((X - \mathbb{E}[X])^2 \geq \epsilon^2) \leq \frac{(X - \mathbb{E}[X])^2}{\epsilon^2}$$

因此我们可以得到一个不等式

$$P(| X - \mathbb{E}[X] | \geq \epsilon) = P((X - \mathbb{E}[X])^2 \geq \epsilon^2) = \\ \sum_x P(x) \mathbb{I}((X - \mathbb{E}[X])^2 \geq \epsilon^2) \leq \sum_x P(x) \frac{(X - \mathbb{E}[X])^2}{\epsilon^2} = \frac{\text{var}(X)}{\epsilon^2}$$

proof end

切比雪夫不等式并不要求随机变量非负

依概率收敛

数列的收敛

若对于任意的$\epsilon > 0$，存在$N$，当$n > N$时，有$|a_n - a| < \epsilon$，则称数列$a_n$收敛于$a$，记为$\lim_{n \to \infin} a_n = a$

随机变量序列的收敛

若对于任意的$\epsilon > 0$，有$\lim_{n \to \infin} P(| Y_n - a | \geq \epsilon) = 0$，则称随机变量序列$Y_n$依概率收敛于$a$，记为$Y_n \xrightarrow{P} a$

如果我们将其中的$\lim$展开，有

对于任意的$\epsilon > 0$，有对于任意的$\delta > 0$，存在$N$，当$n > N$时，有$P(|Y_n - a| \geq \epsilon) < \delta$，则称随机变量序列$Y_n$依概率收敛于$a$，记为$Y_n \xrightarrow{P} a$

Laws of Large Numbers

Weak Law of Large Numbers

弱大数定律是指，在大样本的情况下，样本的经验均值会以很大概率接近随机变量的期望。

我们考虑随机变量序列$X_1, X_2, \cdots, X_n$.我们定义随机变量序列的经验均值为$M_n = \frac{1}{N} \sum_{i=1}^n X_i$，注意到$M_n$也是一个随机变量。

如果对于任意的$\epsilon > 0$, 有

$$\lim_{n \to \infty} P(|M_n - \mathbb{E}[M_n ]| \geq \epsilon) = 0$$

则称随机变量序列$X_1, X_2, \cdots, X_n$满足弱大数定律。也称$M_n$依概率收敛于$\mathbb{E}[M_n]$

现在我们开始一一分析各个大数定律

限制方差的大数定律--马尔可夫大数定律

任取$\epsilon > 0$，有

$$P(|M_n - \mathbb{E}[M_n ]| \geq \epsilon) \leq \frac{\text{var}(M_n)}{\epsilon^2}$$

其中$\text{var}(M_n) = \frac{\text{var}(\sum_{i=1}^n X_i)}{n^2}$，因此

$$P(|M_n - \mathbb{E}[M_n ]| \geq \epsilon) \leq \frac{\text{var}(\sum_{i=1}^n X_i)}{n^2 \epsilon^2}$$

如果$\lim_{n \to \infin} \frac{\text{var}(\sum_{i=1}^n X_i)}{n^2} = 0$, 那么$M_n$满足弱大数定律。

限制随机变量不相关+方差有界的大数定律--切比雪夫大数定律

如果在 Markov 大数定律中，我们假设$X_i$两两不相关，那么$\text{var}(\sum_{i=1}^n X_i) = \sum_{i=1}^n \text{var}(X_i)$

同时如果所有的$X_i$的方差都有上界$\sigma^2$，那么

$$P(|M_n - \mathbb{E}[M_n ]| \geq \epsilon) \leq \frac{\text{var}(\sum_{i=1}^n X_i)}{n^2 \epsilon^2} = \frac{\sum_{i=1}^n \text{var}(X_i)}{n^2 \epsilon^2} \leq \frac{n \sigma^2}{n^2 \epsilon^2} = \frac{\sigma^2}{n \epsilon^2}$$

因此得到结论：如果$X_i$两两不相关，且有共同上界$\sigma^2$，那么$M_n$满足弱大数定律。

限制独立同分布+方差有限的大数定律

如果$X_i$是独立同分布的随机变量，且有限方差$\sigma^2$，那么

$$P(|M_n - \mathbb{E}[M_n ]| \geq \epsilon) \leq \frac{\text{var}(\sum_{i=1}^n X_i)}{n^2 \epsilon^2} = \frac{n \sigma^2}{n^2 \epsilon^2} = \frac{\sigma^2}{n \epsilon^2}$$

满足弱大数定律,并且此时$\mathbb{E}[M_n] = \mathbb{E}[X]$

限制独立同分布+二项分布--伯努利大数定律

如果$X_i$是独立同分布的伯努利随机变量，那么$M_n$满足弱大数定律。

同时可以进行扩展，我们将一个事件$A$嵌入一个示性函数中，转换为一个伯努利随机变量，那么我们可以得到

$$\mathbb{E}[\frac{1}{n} \sum_{i=1}^n I_{A,i}] = \frac{1}{n} \sum_{i=1}^n \mathbb{E}[I_{A,i}] = \frac{1}{n} \sum_{i=1}^n P(A) = P(A)$$

又因为$I_{A,i}$独立同分布且有限方差，因此$M_n$满足弱大数定律，可得$A$的频率收敛于概率。

方差无界的大数定律--辛钦大数定律

如果$X_i$是独立同分布且期望有界的随机变量，但是方差无界，那么$M_n$满足弱大数定律。

Strong Law of Large Numbers

强大数定律是指，样本的经验均值会以概率 1 收敛于随机变量的期望。

若有独立同分布的随机变量序列$X_1, X_2, \cdots, X_n$，那么

$$P(\lim_{n \to \infty} M_n = \mathbb{E}[X]) = 1$$

可以理解为，在一个无限序列 X_1, X_2, \cdots, X_n 的样本空间中，存在一个子集满足$M_n = \mathbb{E}[X]$，这个子集的概率为 1。

Central Limit Theorem

大数定律研究了随机变量序列的经验均值与期望之间的联系，而中心极限定理研究了随机变量序列经验均值的分布。

Lindeberg-Levy/独立同分布 Central Limit Theorem

如果$X_i$是独立同分布的随机变量，且有限期望$\mu$和方差$\sigma^2$，那么

$$\lim_{n \to \infty} P(\frac{\sum_{i=1}^n X_i - n\mu}{\sqrt{n}\sigma} \leq x) = \Phi(x)$$

即$M_n$依分布收敛于正态分布。

独立不同分布下的中心极限定理

pass

参考

大数定律与中心极限定理
概率导论