05 大数定律及中心极限定理 | 概率论与数理统计
大数定律及中心极限定理
1. 大数定律
1. 依概率收敛
- 依概率收敛：设\(Y_1,Y_2,\dots,Y_n,\dots\)为一随机变量序列，\(a\)是是常数，若对任意整数\(\varepsilon\)，有\(\lim_{n\to\infty}P(|Y_n-a|<\varepsilon) = 1\)，则称随机变量序列\(Y_1,Y_2,\dots,Y_n,\dots\) 依概率收敛于\(a\)，记为\(Y_n\stackrel{P}{\longrightarrow}a\)
- 依概率收敛的性质
- 设\(X_n\stackrel{P}{\longrightarrow}a,Y_n\stackrel{P}{\longrightarrow}b\)，又设函数\(g(x,y)\)在点\((a,b)\)连续，那么\(g(X_n,Y_n)\stackrel{P}{\longrightarrow}g(a,b)\)
- \(\{Y_n\}\)依概率收敛于\(Y\)，意味着对任意给定的\(\varepsilon>0\) ，当\(n\)充分大时，事件\(|Y_n-Y|<\varepsilon\)的概率很大，接近于1；并不排除事件\(|Y_n-Y|\ge\varepsilon\)的发生，而只是说它发生的可能性很小
- 依概率收敛不一定收敛，收敛一定是依概率收敛
2. 大数定律
- 切比雪夫定理的特殊情况
- 设随机变量序列\(X_1,X_2,\dots,X_n,\dots\)相互独立，且具有相同的数学期望和方差：\(E(X_k)=\mu,D(X_k)=\sigma^2\)，则对任意的\(\varepsilon>0\)，有\(\lim_{n\to\infty}(|\frac{1}{n}\sum_{i=1}^nX_i-\mu|<\varepsilon) = 1\)，即\(\bar{X}=\frac{1}{n}\sum_{i=1}^nX_i\stackrel{P}{\longrightarrow}\mu\)
- 含义：相互独立具有相同期望和方差的随机变量\(X_1,X_2,\dots,X_n,\dots\)的算术平均值依概率收敛于其数学期望值
- 伯努利大数定律
-
设\(n_A\)是\(n\)次独立重复试验中\(A\)发生的次数. \(p\) 是事件\(A\)在每次试验中发生的概率, 则对任意\(\varepsilon > 0\),有
\[\lim_{n\to\infty}P(|\frac{n_A}{n}-p|<\varepsilon)=1 \Longleftrightarrow \lim_{n\to\infty}P(|\frac{n_A}{n}-p|\ge\varepsilon)=0 \] -
含义：\(\frac{n_A}{n}\stackrel{P}{\longrightarrow}P(A),(n\to\infty)\)，事件\(A\)发生的频率依概率收敛于事件的概率\(p\)，这个定理以严格的数学形式表达了频率的稳定性
-
- 辛钦定理（弱大数定理）
- 设随机变量序列\(X_1,X_2,\dots,X_n,\dots\)相互独立，且具有相同的分布，数学期望：\(E(X_k)=\mu\)，则对任意正数\(\varepsilon\)，有$$\lim_{n\to\infty}P(|\frac{1}{n}\sum_{i=1}^nX_i-\mu|<\varepsilon)=1$$
- 辛钦定理不要求随机变量的方差存在
- 其它一些一般情况
- 设随机变量序列\(X_1,X_2,\dots,X_n,\dots\)相互独立但是不具有相同的分布，设数学期望\(E(X_i)=\mu_i,D(X_i)=\sigma_i^2,i=1,2,\cdots\)，则对任意正数\(\varepsilon\)有
\[\lim_{n\to\infty}P(|\frac{1}{n}\sum_{i=1}^nX_i-\frac{1}{n}\sum_{i=1}^n\mu_i|<\varepsilon)=1 \]- 马尔科夫大数定律：如果随机变量序列\(X_1,X_2,\dots,X_n,\dots\)不相互独立，则只要
\[\frac{1}{n^2}D(\sum_{i=1}^{n}X_k)\stackrel{n\to\infty}{\longrightarrow} 0 \]则对任意\(\varepsilon>0\)\[\lim_{n\to\infty}P(|\frac{1}{n}\sum_{i=1}^nX_i-\frac{1}{n}\sum_{i=1}^n\mu_i|<\varepsilon)=1 \]成立
2. 中心极限定理
1. 独立同分布（林德贝格-列维）中心极限定理
- 定理：设随机变量序列\(X_1,X_2,\dots,X_n,\dots\)相互独立，且具有相同的分布，数学期望：\(E(X_k)=\mu,D(X_k)=\sigma^2\ne 0\)，则$$Y_n=\frac{\sum_{i=1}^nX_i-n\mu}{\sqrt{n}\sigma}$$的分布函数\(F_n(x)\)满足对于任意实数\(x\)，有$$\bar{X} = \frac{1}{n}\sum_{i=1}^nX_i\sim N(\mu,\sigma^2/n)$$
- 含义：当\(n\)很大的时候，\(Y_n\)近似服从 标准正态分布
2. 李雅普诺夫定理
- 定理：设随机变量序列\(X_1,X_2,\dots,X_n,\dots\)相互独立，且具有数学期望和方差\(E(X_k)=\mu_k,D(X_k)=\sigma_k^2\ne0\)，记\(B_n^2=\sum_{k=1}^n\sigma_k^2\)，如果存在\(\delta>0\)，使得\[\lim_{n\to\infty}\frac{1}{B_n^{2+\delta}}\sum_{k=1}^{n}E(|X_k-\mu_k|^{2+\delta})\to0 \]则随机变量\[Z_n = \frac{\sum_{k=1}^nX_k-E(\sum_{k=1}^nX_k)}{\sqrt{D(\sum_{k=1}^nX_k)}}=\frac{\sum_{k=1}^nX_k-\sum_{k=1}^n\mu_k}{B_n} \]的分布函数\(F_n(x)\)对任意\(x\)有\[\lim_{n\to\infty}F_n(x) = \lim_{n\to\infty}P(\frac{\sum_{k=1}^nX_k-\sum_{k=1}^n\mu_k}{B_n}\le x)=\int_{-\infty}^x\frac{1}{\sqrt{2\pi}}e^{-t^2/2}dt=\Phi(x) \]
- 含义：当\(n\)充分大的时候，\(Z_n\)的分布近似于 标准正态分布
3. 棣莫弗-拉普拉斯定理
- 定理：设\(\eta_n\)服从参数为\(n,p(0<p<1)\)的 二项分布，则对任意\(x\)，恒有
\[\lim_{n\to\infty}P(\frac{\eta_n-np}{\sqrt{np(1-p)}}\le x)=\int_{-\infty}^x\frac{1}{\sqrt{2\pi}}e^{-t^2/2}dt=\Phi(x)
\]
- 含义：正态分布是二项分布的 极限分布，所以当\(n\)充分大时，我们可以用标准正态分布近似二项分布
- 二项分布近似于正态分布：\(n\)充分大
- 二项分布近似于泊松分布：\(n\)充分大并且\(p\)要小（一般要求\(n\ge20,p\le0.05\)）
