05 大数定律及中心极限定理 | 概率论与数理统计

1. 大数定律

1. 依概率收敛

1. 依概率收敛：设$Y_1,Y_2,\dots ,Y_n,\dots$为一随机变量序列，$a$是是常数，若对任意整数$\epsilon$，有$\underset{n\to \mathrm{\infty }}{lim}P(|Y_n-a|<\epsilon )=1$，则称随机变量序列$Y_1,Y_2,\dots ,Y_n,\dots$ 依概率收敛于$a$，记为$Y_n\stackrel{P}{⟶}a$
2. 依概率收敛的性质
   1. 设$X_n\stackrel{P}{⟶}a,Y_n\stackrel{P}{⟶}b$，又设函数$g(x,y)$在点$(a,b)$连续，那么$g(X_n,Y_n)\stackrel{P}{⟶}g(a,b)$
   2. $\{Y_n\}$依概率收敛于$Y$，意味着对任意给定的$\epsilon >0$ ，当$n$充分大时，事件$|Y_n-Y|<\epsilon$的概率很大，接近于1；并不排除事件$|Y_n-Y|\ge \epsilon$的发生，而只是说它发生的可能性很小
   3. 依概率收敛不一定收敛，收敛一定是依概率收敛

2. 大数定律

1. 切比雪夫定理的特殊情况
   1. 设随机变量序列$X_1,X_2,\dots ,X_n,\dots$相互独立，且具有相同的数学期望和方差：$E(X_k)=\mu ,D(X_k)={\sigma }^2$，则对任意的$\epsilon >0$，有$\underset{n\to \mathrm{\infty }}{lim}(|\frac{1}{n}\sum _{i=1}^n{X}_i-\mu |<\epsilon )=1$，即$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{⟶}\mu$
   2. 含义：相互独立具有相同期望和方差的随机变量$X_1,X_2,\dots ,X_n,\dots$的算术平均值依概率收敛于其数学期望值
2. 伯努利大数定律

   1. 设$n_A$是$n$次独立重复试验中$A$发生的次数. $p$ 是事件$A$在每次试验中发生的概率, 则对任意$\epsilon >0$,有

      $$\underset{n\to \mathrm{\infty }}{lim}P(|\frac{n_A}{n}-p|<\epsilon )=1⟺\underset{n\to \mathrm{\infty }}{lim}P(|\frac{n_A}{n}-p|\ge \epsilon )=0$$

   2. 含义：$\frac{n_A}{n}\stackrel{P}{⟶}P(A),(n\to \mathrm{\infty })$，事件$A$发生的频率依概率收敛于事件的概率$p$，这个定理以严格的数学形式表达了频率的稳定性

3. 辛钦定理（弱大数定理）
   1. 设随机变量序列$X_1,X_2,\dots ,X_n,\dots$相互独立，且具有相同的分布，数学期望：$E(X_k)=\mu$，则对任意正数$\epsilon$，有$$\underset{n\to \mathrm{\infty }}{lim}P(|\frac{1}{n}\sum _{i=1}^n{X}_i-\mu |<\epsilon )=1$$
   2. 辛钦定理不要求随机变量的方差存在
   3. 其它一些一般情况
      1. 设随机变量序列$X_1,X_2,\dots ,X_n,\dots$相互独立但是不具有相同的分布，设数学期望$E(X_i)={\mu }_i,D(X_i)={\sigma }_i^2,i=1,2,\cdots$，则对任意正数$\epsilon$有
      $$\underset{n\to \mathrm{\infty }}{lim}P(|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^n{\mu }_i|<\epsilon )=1$$
      2. 马尔科夫大数定律：如果随机变量序列$X_1,X_2,\dots ,X_n,\dots$不相互独立，则只要
      $$\frac{1}{n^2}D(\sum _{i=1}^n{X}_k)\stackrel{n\to \mathrm{\infty }}{⟶}0$$
      则对任意$\epsilon >0$
      $$\underset{n\to \mathrm{\infty }}{lim}P(|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^n{\mu }_i|<\epsilon )=1$$
      成立

2. 中心极限定理

1. 独立同分布（林德贝格-列维）中心极限定理

1. 定理：设随机变量序列$X_1,X_2,\dots ,X_n,\dots$相互独立，且具有相同的分布，数学期望：$E(X_k)=\mu ,D(X_k)={\sigma }^2\ne 0$，则$$Y_n=\frac{\sum _{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }$$的分布函数$F_n(x)$满足对于任意实数$x$，有$$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i\sim N(\mu ,{\sigma }^2/n)$$
2. 含义：当$n$很大的时候，$Y_n$近似服从 标准正态分布

2. 李雅普诺夫定理

1. 定理：设随机变量序列$X_1,X_2,\dots ,X_n,\dots$相互独立，且具有数学期望和方差$E(X_k)={\mu }_k,D(X_k)={\sigma }_k^2\ne 0$，记$B_n^2=\sum _{k=1}^n{\sigma }_k^2$，如果存在$\delta >0$，使得
   $$\underset{n\to \mathrm{\infty }}{lim}\frac{1}{B_n^{2+\delta }}\sum _{k=1}^{n}E(|X_k-{\mu }_k{|}^{2+\delta })\to 0$$
   则随机变量
   $$Z_n=\frac{\sum _{k=1}^n{X}_k-E(\sum _{k=1}^n{X}_k)}{\sqrt{D(\sum _{k=1}^n{X}_k)}}=\frac{\sum _{k=1}^n{X}_k-\sum _{k=1}^n{\mu }_k}{B_n}$$
   的分布函数$F_n(x)$对任意$x$有
   $$\underset{n\to \mathrm{\infty }}{lim}{F}_n(x)=\underset{n\to \mathrm{\infty }}{lim}P(\frac{\sum _{k=1}^n{X}_k-\sum _{k=1}^n{\mu }_k}{B_n}\le x)={\int }_{-\mathrm{\infty }}^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt=\mathrm{\Phi }(x)$$

2. 含义：当$n$充分大的时候，$Z_n$的分布近似于 标准正态分布

3. 棣莫弗-拉普拉斯定理

1. 定理：设${\eta }_n$服从参数为$n,p(0<p<1)$的 二项分布，则对任意$x$，恒有

$$\underset{n\to \mathrm{\infty }}{lim}P(\frac{{\eta }_n-np}{\sqrt{np(1-p)}}\le x)={\int }_{-\mathrm{\infty }}^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt=\mathrm{\Phi }(x)$$

2. 含义：正态分布是二项分布的 极限分布，所以当$n$充分大时，我们可以用标准正态分布近似二项分布
   1. 二项分布近似于正态分布：$n$充分大
   2. 二项分布近似于泊松分布：$n$充分大并且$p$要小（一般要求$n\ge 20,p\le 0.05$）

__EOF__

本文作者：RadiumGalaxy
本文链接：https://www.cnblogs.com/RadiumGalaxy/p/16909089.html
关于博主：评论和私信会在第一时间回复。或者直接私信我。
版权声明：本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！
声援博主：如果您觉得文章对您有帮助，可以点击文章右下角【推荐】一下。您的鼓励是博主的最大动力！