大数定律及中心极限定理

大数定律

　　表示试验次数无穷大时，样本均值就等于总体均值。

弱大数定律（辛钦大数定律）

　　$X_1,X_2,X_3,...$是相互独立，服从期望$E(X_k) = \mu$分布的随机变量，则对于任意$\epsilon>0$，有：

$\displaystyle \lim_{n\to \infty}P\left\{\left|\frac{1}{n}\sum\limits_{k=1}^{n}X_k - \mu\right|<\epsilon\right\} = 1$

伯努利大数定律

　　是辛钦大数定律的推论（其实就是一个特例），$f_A$是$n$次重复试验中事件$A$发生的次数，$p$是每次试验$A$发生的概率，对于任意$\epsilon>0$，有：

$\displaystyle \lim_{n\to \infty}P\left\{\left|\frac{f_A}{n} - p\right|<\epsilon\right\} = 1$

中心极限定理

独立同分布的中心极限定理

　　对于服从同一分布的相互独立随机变量$X_1,X_2,X_3,...$，期望和方差分别为$E(X_k)  = \mu, D(X_k)=\sigma^2>0$，则他们均值的标准化变量

$\displaystyle Y_n = \frac{\displaystyle\frac{1}{n}\sum\limits_{k=1}^{n}X_k-E(\frac{1}{n}\sum\limits_{k=1}^{n}X_k)}{\displaystyle\sqrt{D(\frac{1}{n}\sum\limits_{k=1}^{n}X_k)}} = \frac{\displaystyle\frac{1}{n}\sum\limits_{k=1}^{n}X_k-\mu}{\sigma/\sqrt{n}} =  \frac{\overline{X}-\mu}{\sigma/\sqrt{n}} $

　　的分布函数$F_n(x)$对于任意$x$满足：

$\displaystyle \lim_{n\to \infty}F_n(x) = \lim_{n\to \infty}P\left\{ \frac{\overline{X}-\mu}{\sigma/\sqrt{n}}\leqslant x\right\} =  \int _{-\infty}^{x} \frac{1}{\sqrt{2\pi}} e^{-t^2/2}{\rm d}t = \Phi(x)$

　　也就是说，当抽样无穷大且各个抽样相互独立时，任何分布的标准化样本均值都服从标准正态分布。其实，在样本量比较大时，直接就把样本均值的分布看成正态分布就完事了。这样一来也可以用$t$分布了：

$\displaystyle  \frac{\overline{X}-\mu}{S/\sqrt{n}} \sim t(n-1)$

　　书中没有给出证明，直观感受一下。抽样无穷大时，样本均值无限接近于总体均值也就是期望，样本均值的方差无限接近于0。这样一来，最后样本均值的分布和原本的分布没关系也就理所当然了。

独立不同分布的中心极限定理（李雅普诺夫定理）

　　实际上就是，对于分别服从不同分布的相互独立随机变量$X_1,X_2,X_3,...$，他们的均值标准化后也服从标准正态分布。

二项分布的中心极限定理（棣莫弗—拉普拉斯定理）

　　这是独立同分布的中心极限定理的特殊情况，也就是当这个分布是二项分布时，而其中的$X_k$只能取值为0或1。所以按照式子，对于期望是$p$的二项分布而言，有：

$\displaystyle \lim_{n\to \infty}P\left\{\frac{\displaystyle \overline{X}-p}{\sqrt{p(1-p)}/\sqrt{n}}\leqslant x\right\} = \Phi(x)$

　　也就是说，当二项分布抽样无穷大时，抽中1的频率的分布标准化后服从标准正态分布。