概率论笔记（5）

第五章 大数定律与中心极限定理

第一节 大数定律

大数定律概念：概率论中用来阐明大量随机现象的平均值的稳定性的一系列定律

切比雪夫不等式：

设随机变量$X$存在有限方差$D(X)$，则对任意$\varepsilon >0$,有
$P\left \{ \left | X-E(X) \right |\geq \varepsilon \right \}\leq \frac{D(X)}{\varepsilon ^{2}}$

概率收敛：

设$Y_{1},Y_{2},...,Y_{n},...$是一个随机变量序列，$a$是一个常数，若对于任意正数$\varepsilon$，有
$\lim_{n\rightarrow \infty}P\left \{ |Y_{n}-a|<\varepsilon \right \}=1$
则称序列$$依概率收敛于$a$，记为$Y_{n}\overset{P}{\rightarrow}a$

切比雪夫大数定律：

设$X_{1},X_{2},...$是相互独立的随机变量序列，各有数学期望$E(X_{1}),E(X_{2}),...$及方差$D(X_{1}),D(X_{2}),...$
并且对于所有$i=1,2,...$都有$D(X_{i})<l$，其中l是与i无关的常数，则对任给的$\varepsilon >0$有
$\lim_{n\rightarrow \infty}P\left \{ \left | \frac{1}{n}\sum_{i=1}^{n}X_{i}-\frac{1}{n}\sum_{i=1}^{n}E(X_{i}) \right |<\varepsilon \right \}=1$

• 意义：当n充分大时随机变量$Y=\frac{\sum_{i=1}^{n}X_{i}}{n}$的离散程度是很小的
• 推论：
  设随机变量$X_{1},X_{2},...,X_{n},...$相互独立，且具有相同的数学期望和方差：
  $E(X_{k})=\mu,D(X_{k})=\sigma ^{2},k=1,2,...$
  作前n个随机变量的算术平均$Y_{n}=\frac{1}{n}\sum_{k=1}^{n}X_{k}$，则对于任意正数$\varepsilon$，有
  $\lim_{n\rightarrow \infty}P\left \{ \left | Y_{n}-\mu \right |<\varepsilon \right \}=1$

伯努利大数定律：

设$n_{A}$是n次独立重复试验中事件A发生的次数，p是事件A在每次试验中发生的概率，则对于任意正数$\varepsilon$，有
$\lim_{n\rightarrow \infty}P\left \{ \left | \frac{n_{A}}{n}-p \right |<\varepsilon \right \}=1$

• 意义：试验的次数很大时，就可以用事件发生的频率代替事件发生的概率

辛钦大数定律：

设随机变量$X_{1},X_{2},...,X_{n},...$相互独立，服从同一分布，且具有数学期望$E(X_{k})=\mu, k=1,2,...$，则对于任意正数$\varepsilon$，有
$\lim_{n \to \infty}P\left \{ \left | \frac{1}{n}\sum_{k=1}^{n}X_{k}-\mu \right |<\varepsilon \right \}=1$

• 意义：当n足够大时，取$\frac{1}{n}\sum_{i=1}^{n}X_{i}$作为a的近似值，可以认为所发生的误差是很小的

第二节 中心极限定理

中心极限定理概念：有关论证 独立随机变量之和的极限分布 是 正态分布 的一系列定理

独立同分布的中心极限定理：

设随机变量$X_{1},X_{2},...,X_{n},...$相互独立，服从同一分布，且具有数学期望和方差
$E(X_{k})=\mu ,D(X_{k})=\sigma ^{2}\neq 0, k=1,2,...$
则随机变量
$Y_{n}=\frac{\sum_{k=1}^{n}X_{k}-E(\sum_{k=1}^{n}X_{k})}{\sqrt{D(\sum_{k=1}^{n}X_{k})}}=\frac{\sum_{k=1}^{n}X_{k}-n\mu}{\sqrt{n}\sigma }$
的分布函数$F_{n}(x)$对于任意x，满足：
$\lim_{n \to \infty}F_{n}(x)=\int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-\frac{t^{2}}{2}}dt$
所以当n充分大时，近似有
$Y_{n}=\frac{\sum_{k=1}^{n}X_{k}-n\mu}{\sqrt{n\sigma ^{2}}}\sim N(0,1)$，或
$\sum_{k=1}^{n}X_{k} \sim N(n\mu ,n\sigma ^{2})$

李雅普多夫定理：

设随机变量$X_{1},X_{2},...,X_{n},...$相互独立，它们具有数学期望和方差：
$E(X_{k})=\mu ,D(X_{k})=\sigma ^{2}\neq 0, k=1,2,...$
记$B_{n}^{2}=\sum_{k=1}^{n}\sigma _{n}^{2}$，若存在正数$\delta$，使得当$n \to \infty$时，
$\frac{1}{B_{n}^{2+\delta }}\sum_{k=1}^{n}E\left \{ \left | X_k-\mu _{k} \right |^{2+\delta } \right \}\rightarrow 0$
则随机变量
$Z_{n}=\frac{\sum_{k=1}^{n}X_{k}-E(\sum_{k=1}^{n}X_{k})}{\sqrt{D(\sum_{k=1}^{n}X_{k})}}=\frac{\sum_{k=1}^{n}X_{k}-\sum_{k=1}^{n}\mu _{k}}{B_{n}}$
的分布函数$F_{n}(x)$对于任意x，满足
$\lim_{n \to \infty}F_{n}(x)=\int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-\frac{t^{2}}{2}}dt$

• 意义：
  当n很大时，随机变量$Z_{n}$近似服从正态分布N(0,1)
  即$\sum_{k=1}^{n}X_{k}=B_{n}Z_{n}+\sum_{k=1}^{n}\mu_{k}$近似服从正态分布$N\left ( \sum_{k=1}^{n}\mu_{k},B_{n}^{2} \right )$
  （PS：感觉是独立同分布的中心极限定理的扩展）

有关二项分布的中心极限定理：

设X服从参数为n，p的二项分布，则

• 拉普拉斯定理（局部极限定理）：
  当$n \to \infty$时
  $P\left \{ X=k \right \}=\frac{1}{\sigma}\varphi \left ( \frac{k-\mu}{\sigma} \right )$
  其中$\mu=np,\sigma=\sqrt{np(1-p)},k=0,1,2,...,n,\varphi (x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^{2}}{2}}$
• 棣莫弗-拉普拉斯定理（积分极限定理）：
  对于任意的x，恒有
  $\lim_{n \to \infty}P\left \{ \frac{X-\mu}{\sigma }\leq x \right \}=\int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-\frac{x^{2}}{2}}dt$
  其中$\mu=np,\sigma=\sqrt{np(1-p)}$

棣莫弗-拉普拉斯定理与泊松定理：

正态分布和泊松分布均是二项分布的极限分布，但后者以$n \to \infty, p \to 0, np \to \lambda$为条件，前者只要求$n \to \infty$
所以一般当n很大p很小时，二项分布用正态分布近似计算不如泊松分布准确