【1】通过生活的现象来观察大数定律以及中心极限定理

【1】通过生活的现象来观察大数定律以及中心极限定理

这篇文章很早便完成了，期间我又写了小十篇“晦涩的科普“，反复回味的过程中我也不禁反思，除了让大家认识到了数学专业的枯燥意外，读者是否有其他收获？我看过一本书中曾写道，不怕别人不知道，怕的是你不知道他不知道。这句话在我实习以及和人交流技术心得的时候令我感触尤深。

于是，我又开始着手于重构我的文章。在我眼中，我的文章有很多闪光点，例如说把知识的层次解构，由浅极深的讲解一个复杂的定理，并且反复推敲定理的证明过程，力求精确以及通顺。但大家似乎并不感冒，用大白话来讲解一个定理似乎是读者们所喜闻乐见的，毕竟在信息碎片的时代，不是所有人都有时间来思考这些虚无缥缈的东西。

写作要求作者整理自己的思绪并且善于表达，所以善于写作的人一定善于思考。可读者不然，因为阅读不需求任何批判性思维：若不从作者本身的可信度到每一个用词时时盯防，读者也许就会盲目的听信一个对自己空弹琴的人。某种程度上，这样的读者是牺牲品；用自己的时间和脑容量，为一个本没有意义并随即消逝的思想提供了生存空间。

还是希望，为数不多的读者们在我这里能够有所思考，有所收获，共同沉浸在这个逻辑的世界里。

2020/2/22重写本文时瞎jb唠唠。

---

目录

• 【1】通过生活的现象来观察大数定律以及中心极限定理
  • 1、频率会收敛于概率吗？
    • 伯努利大数定理
      • • （马尔可夫不等式）
        • （切比雪夫不等式）
  • 2、和的极限分布？
    • • 卷积公式
        • (Lindeberg-Lévy) 中心极限定理

在我们学习数学分析的时候，曾经遇到过无穷级数这个概念。对于有限部分和的求解是十分困难的，而当我们把尺度上升到无穷个，则问题反而被简化，例如：

\[\lim_{n\to\infty}（1+x+\frac{x^2}{2!}+\cdots+\frac{x^n}{n!}）=\lim_{n\to\infty}\sum_{i=1}^{n}\frac{x^i}{i!}=e^x \]

在概率统计世界中，也有类似的现象，用数学的语言来表述，我们可以抽象出两类问题：

• 随着试验次数增加，事件的频率会收敛于概率吗？
• 若干个随机变量求和，那么这个和的极限会服从什么样的分布规律？

下面我们就随着前人的脚步一步一步的探索，上面两条真理的逻辑化表述。

1、频率会收敛于概率吗？

所谓的大数定理是指，对于一个事件\(A\)，我们设置了\(n\)次独立试验，每次观测它是否会发生，为此，我们定义一个随机变量\(X_i，(i=1,2,\dots,n)\)，所以在这\(n\)次实验中，我们可以记事件一共发生了”\(X_1+X_2+\dots+X_n\)“次。

若按照我们熟知的”频率会趋近于概率“，我们可以得出下式：

\[P(A)=\lim_{n\to\infty}p_n=\lim_{n\to\infty}\frac{X_1+X_2+\dots+X_n}{n}=\lim_{n\to\infty}\overline{X}_n \]

如果用更加生活化的语言来解释，我们可以想象，对于一个地区的平均收入，如果我们仅仅去调查某一个人的收入，他可能和真实的平均收入相祛甚远，而当我们统计了一万个人的收入后取其算术平均值，则该均值距离整体平均收入的偏差会小很多。而大数定律则对这一条生活中的规律从理论的高度做了概括与论证。

伯努利大数定理

• 设\(X_1,X_2,\dots,X_n,\dots\)是独立同分布的随机变量，记他们的公共均值为\(a\),又设他们的方差存在并记为\(\sigma^2\),则对任意给定的\(\varepsilon>0\)，有，

\[\lim_{n\to\infty}P(|\frac{1}{n}\sum_{i=1}^{n}X_i-a|\ge\varepsilon)=0（伯努利大数定理） \]

称为“ \(\overline{X}_n\) 依概率收敛于 a ”，为了证明上述定理，我们需要引入马尔可夫概率不等式：

（马尔可夫不等式）

• 若Y为非负随机变量，则对任给常数\(\varepsilon >0\),有

\[P（Y\ge\varepsilon）\le\frac{E(Y)}{\varepsilon}\ (马尔可夫不等式)\\ \]

证明：

\[\begin{align} &\because E(Y)=\int_0^\infty yf(y)dy\ge\int_\varepsilon^\infty yf(y)dy\ge\varepsilon\int_\varepsilon^\infty f(y)dy=\varepsilon P(Y\ge\varepsilon)\\ \end{align}\\ \]

（切比雪夫不等式）

• 若Var（Y）存在，则:

\[P(|Y-EY|\ge\varepsilon)\le\frac{Var(Y)}{\varepsilon^2}（切比雪夫不等式）\\ \]

证明，由马尔可夫不等式：

\[\begin{align} P（Y\ge\varepsilon）\leq& \frac{E(Y)}{\varepsilon}\\ P（[Y-EY]^2\ge\varepsilon^2）\leq& \frac{E([Y-EY]^2)}{\varepsilon^2}\\ \end{align}\\ \]

到注意\(P（|y|>a）=P(y^2>a)\)，因此

\[P（Y\ge\varepsilon）\leq\frac{E([Y-EY]^2)}{\varepsilon^2}=\frac{Var(Y)}{\varepsilon^2}\\ \]

• 可看到切比雪夫不等式实际上是马尔可夫不等式的一个特例 ; )

由上式，设\(\frac{1}{n}\sum_{i=1}^{n}X_i=\overline{X}_n\),可以证明：

\[\begin{align} \lim_{n\to\infty}P(|\frac{1}{n}\sum_{i=1}^{n}X_i-a|\ge\varepsilon) &=\lim_{n\to\infty}P(|\overline{X}_n-a|\ge\varepsilon)\\ (Chebyshev)&\leq\lim_{n\to\infty}\frac{Var(\overline X_n)}{\varepsilon^2}\\ (对于独立同分布的变量和的方差=方差之和)&=\lim_{n\to\infty}\frac{1}{n^2\varepsilon^2}\sum_{i=1}^{n}Var(X_i)\\ &=\frac{1}{n^2\varepsilon^2}(n\sigma^2)\\ (当n\to\infty时)&=\frac{\sigma^2}{n\varepsilon^2}\to0 \end{align} \]

• 这是最早的一个大数定理——伯努利(Bernoulli)大数定理（1713），这既是我们常说的“频率收敛于概率”。

\[\lim_{n\to\infty}P(|p_n-p|\geq\varepsilon)=0 \]

在生活中”定理“、”定律“、”定则“似乎有着同样的含义，但是在科学中，一般”定理“代表着能够通过严格的数学工具证明的理论事实，而”定律“则是一些”显而易见“却很难去证明的理论。

2、和的极限分布？

大数定律是讨论在什么条件下，随机变量序列的算术平均依概率收敛到其均值的算术平均，而中心极限定理则是讨论在什么样的条件下，独立随机变量和：

\[Y_n=\sum_{i=1}^nX_i \]

的分布函数会收敛于正态分布。

卷积公式

\[\begin{align} p_X(x)*p_Y(y)::=p_Z(z) =&\int_{-\infty}^\infty p_X(z-y)p_Y(y)dy\\ =&\int_{-\infty}^\infty p_X(x)p_Y(z-x)dx \end{align} \]

(Lindeberg-Lévy) 中心极限定理

设\(X_1.X_2,\dots,X_n,\dots\)为独立同分布的随机变量序列，\(E(X_i)=a,Var(X_i)=\sigma^2(0<\sigma<\infty)\)。则对任何实数 \(x\) ，有：

\[\begin{align} \Phi(x)&=\lim_{n\to\infty}P\left(\frac{1}{\sqrt n\sigma}(\sum_{i=1}^nX_i-na)\leq x\right) =\frac{1}{\sqrt{2\pi}}\int_{-\infty}^x e^{-t^2/2}dt\\ \end{align} \]

证明：

设\(X_1,X_2,\dots,X_n\)为n个独立同分布随机变量，\(X_i\thicksim N(\mu,\sigma^2)\),不妨设\(Y_i=X_i-\mu,\)那么\(Y_i\thicksim N(0,\sigma^2)\),设\(Y_i\)的特征函数为\(\varphi(t)\)，

设随机变量\(\eta=\frac{Y_1+Y_2+\dots+Y_n}{\sigma\sqrt{n}}\),由\(\varphi_{X+Y}(t)=\varphi_{X}(t)\varphi_{Y}(t)\),则\(\eta\)的特征函数为：

\[[\varphi(\frac{t}{\sqrt{n}\sigma})][\varphi(\frac{t}{\sqrt{n}\sigma})]\dots[\varphi(\frac{t}{\sqrt{n}\sigma})]=[\varphi(\frac{t}{\sqrt{n}\sigma})]^n \]

将\(\varphi(\frac{t}{\sqrt{n}\sigma})\)在0点\(Taylor\)展开，

\[\begin{align} \varphi(\frac{t}{\sqrt{n}\sigma}) &=\varphi(0)+\varphi'(0)(\frac{t}{\sqrt{n}\sigma})+\frac{\varphi''(0)}{2!}(\frac{t}{\sqrt{n}\sigma})^2+o((\frac{t}{\sqrt{n}\sigma})^2)\\ &=1+\frac{i\mu t}{\sqrt{n}\sigma}-\frac{(\sigma^2+\mu)t^2}{2n\sigma^2}+o((\frac{t}{\sqrt{n}\sigma})^2)\\ &=1-\frac{t^2}{2n}+o((\frac{t}{\sqrt{n}\sigma})^2)\\ \therefore[\varphi(\frac{t}{\sqrt{n}\sigma})]^n&=[1-\frac{t^2}{2n}+o((\frac{t}{\sqrt{n}\sigma})^2)]^n\\ &=[1-\frac{t^2}{2n}+o((\frac{t}{\sqrt{n}\sigma})^2)]^{(-\frac{2n}{t^2})(-\frac{t^2}{2})}\\ \lim_{n\to\infty}[\varphi(\frac{t}{\sqrt{n}\sigma})]^n&=e^{-\frac{t^2}{2}} \end{align} \]

因此\(\eta\thicksim N(0,1)\)服从标准正态分布。