大数定律和中心极限定理

伯努利（Bernoulli）大数定律

进行\(n\)次独立实验，设 $ n_A $ 是事件发生的次数，\(p\)是事件发生的概率。那么\(\forall \epsilon>0\)，有

\[\lim\limits_{n\to\infty} P(|\frac {n_A}n-p|< \epsilon) = 1 \]

伯努利大数定律揭示了频率和概率的关系，表明随机事件 A 在 n 次试验中发⽣的频率依概率收敛于p。只要实验次数够多，频率就无限接近于概率。

证明：借助切比雪夫不等式

辛钦（KhintChiiie）大数定律

如果有\(n\)个独立相同的随机分布，且数学期望\(\mu\)存在，那么

\[\lim\limits_{n\to\infty} P(|\frac {\Sigma_1^nX_k}n-\mu|< \epsilon) = 1 \]

这个定理表明，反复观察同一个指标，当次数足够多的时候，平均值就会稳定在期望附近。这是用算数平均值计算期望的理论依据。

当 X 为服从0-1分布的随机变量时，辛钦大数定律就是伯努利大数定律，故伯努利大数定律是辛钦伯努利大数定律的一个特例。

切比雪夫（Chebyshev）大数定律

设随机变量序列\(X_1, X_2,...X_n\)，他们两两不相关，方差都存在且有共同上界，再记\(E(X_k)=\mu_k\)，那么

\[\lim\limits_{n\to\infty} P(|\frac {\Sigma_1^nX_k-\Sigma_1^n\mu_k}n|< \epsilon) = 1 \]

随机变量序列不一定要是同分布。这个定理表明：随着样本容量 n 的增加，样本平均数将接近于真实期望。这就是通过样本平均数估计总体平均数的理论依据。

相较于辛钦大数定律，切比雪夫大数定理并未要求同分布，更具一般性，但对方差有额外的要求。

证明：借助切比雪夫不等式

独立同分布的中心极限定理

设随机变量序列\(X_1, X_2,...X_n\)是相同分布且独立，且期望\(\mu\)和方差\(\sigma^2\)存在，那么

\[\lim\limits_{n\to\infty} P(\frac {\Sigma_1^nX_k-n\mu}{\sqrt n \sigma}\le x) = \Phi(x) \]

其中\(\Phi(x)\)是\(N(0,1)\)的分布函数\(\frac 1{\sqrt{2\pi}}\int_{-\infty}^x e^{-\frac{t^2}2}\text d t\)。

这个定理表明，无论是什么分布，当足够多次观察取平均后都会趋近相同期望和方差的正态分布。

推荐阅读：马尔科夫不等式与切比雪夫不等式