PT_中心极限定理CLT:棣莫佛－拉普拉斯定理de Moivre - Laplace CLT+林德伯格－列维(Lindeberg-Levy)定理

中心极限定理CLT

• 中心极限定理（英语：central limit theorem，简作 CLT）是概率论中的一组定理。
  • 中心极限定理说明，在适当的条件下，大量相互独立随机变量的均值经适当标准化后依分布收敛于标准正态分布。
  • 这组定理是数理统计学和误差分析的理论基础，指出了大量随机变量之和近似服从正态分布的条件
  • 提供了计算独立随机变量之和的近似概率
    • 有助于解释为什么很多随机现象可以用正态分布来描述

棣莫佛－拉普拉斯定理de Moivre - Laplace CLT

• 棣莫佛－拉普拉斯（de Moivre - Laplace）定理是中央极限定理的最初版本，

  • 讨论了服从二项分布的随机变量序列。它指出，参数为n, p的二项分布以np为均值、np(1-p) 为方差的正态分布为极限。

• $设Y_n是n次独立试验中事件A发生的次数$

  • 在每次试验中,事件A发生的概率是$p,p\in (0,1)$

    • $则:Y_n\sim B(n,p)$

    • $E(Y_n)=np,D(X_n)=np(1-q)$

    • $$\underset{n\to \infty }{\lim }P(\frac{Y_n-np}{\sqrt{np(1-p)}}⩽x)=\Phi (X)$$

解释

• $当\underline{试验次数n很大}的时候,Y_n标准化后的随机变量$

  • $$Y_n^{\ast }=\frac{Y_n-E(Y_n)}{\sqrt{D(Y_n)}}=\frac{Y_n-np}{\sqrt{np(1-p)}}$$

  • $Y^{\ast }近似服从正态分布:Y^{\ast }\sim N(np,np(1-p))$

  • 有关二项分布的概率计算问题可以转换为正态分布的计算问题

林德伯格－列维（Lindeberg-Levy）定理

• 林德伯格－列维（Lindeberg-Levy）定理，是棣莫佛－拉普拉斯定理的扩展

  • 讨论独立同分布随机变量序列的中央极限定理。
  • 它表明，独立同分布（i.i.d., 即 independent and indentically distributed）且数学期望和方差有限的随机变量序列的标准化和以标准正态分布为极限

• $设\{X_n\mid n=1,2,\cdots \}是独立同分布的随机变量序列$

• $E(X_n)=\mu ,D(X_n)={\sigma }^2<+\infty ;$

• $\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$

  • $S=S(X_i)=\sum _{i=1}^n{X}_i=n\overline{X}$
  • $E(S)=n\mu$
  • $D(S)=\sigma \sqrt{n}$
    • 在前面我们已经推导过$D(\overline{X})=\frac{1}{n}{\sigma }^2$,
      • $D(S)=D(n\overline{X})=n^{2}D(\overline{X})=n^2\frac{1}{n}{\sigma }^2=n{\sigma }^2$
      • $\sqrt{D(S)}=\sqrt{n}\sigma$

• $$\begin{gathered} 记:{\zeta }_n就是S=\sum _{i=1}^n{X}_i的标准化随机变量 \\ {\zeta }_n=\frac{S-E(S)}{\sqrt{D(S)}}=\frac{n\overline{X}-n\mu }{\sqrt{n}\sigma }=\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}=\frac{n(\overline{X}-\mu )}{\sqrt{n}\sigma } \end{gathered}$$

• $X\sim N(0,1)标准正态分布函数\Phi (x)$

  • $$\Phi (X)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-\frac{1}{2}{t}^2}\mathrm{d}t$$

• $$\begin{gathered} \forall x\in R: \\ \underset{n\to \infty }{\lim }P\left(\frac{\sum _{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }⩽x\right)=\Phi (x) \\ 简写: \\ \underset{n\to \infty }{\lim }P\left(\frac{n\overline{X}-n\mu }{\sqrt{n}\sigma }⩽x\right)=\Phi (x) \\ \underset{n\to \infty }{\lim }P\left({\zeta }_n⩽x\right)=\Phi (x) \end{gathered}$$

解释

• 当n很大的时候:

  • $$\begin{gathered} {\zeta }_n=\frac{(\sum _{i=1}^n{X}_i)-n\mu }{\sqrt{n}\sigma }近似有: \\ {\zeta }_n\sim N(0,1) \\ 或者说,\sum _{i=1}^n{X}_i\sim N(n\mu ,n{\sigma }^2) \end{gathered}$$

  • $X_n的分布在一定程度上是任意的$

    • $当X_n$的分布不容易求得时,
      • 只要n足够大,就可以通过标准正态分布函数$\Phi (x)$来求解与$\sum _{i=0}^n{X}_n$相关事件的概率

参考证明

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MeU5aaGl-1667206741588)(D:\repos\blogs\neep\math\PT_概率论\assets\image-20221031142634878.png)]

推导DeMoivre-Laplace CLT

• 设$\{X_n\mid n=1,2,\cdots \}$是独立同分布的随机变量序列,

  • $X_n\sim B(1,p)$
  • $E(X_n)=\mu =p;D(X_n)={\sigma }^2=p(1-p)$
    • $\sigma =\sqrt{p(1-p)}$
  • 结合上述语境:$Y_n=\sum _{i=1}^n{X}_i$
    • $Y_n\sim B(n,p)$

• 由Lindeberg-Levy CLT得到DeMoivre-Laplace CLT

  • $$\begin{gathered} \underset{n\to \infty }{\lim }P\left(\frac{\sum _{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }⩽x\right)=\Phi (x) \\ \underset{n\to \infty }{\lim }P\left(\frac{Y_n-np}{\sqrt{np(1-p)}}⩽x\right)=\Phi (x) \end{gathered}$$