大数定律
大数定律的内涵是在大量的重复实验中，可以以统计上的指标代替概率上的指标，相关定理等描述的都是这么做的合理性
切比雪夫不等式
定义:
\[P\lbrace [|X-EX| \ge \epsilon] \rbrace \le \frac{DX}{\epsilon^2}
\]
证明:
\[P\lbrace [|X-EX| \ge \epsilon] \rbrace = \int_{|X-EX|\ge \epsilon} f(x)dx \quad 因为|X-EX| \ge \epsilon\\
故\quad(X-EX)^2 \ge \epsilon^2; \frac{(X-EX)^2}{\epsilon^2} \ge 1 \\
故 \int_{|X-EX|\ge \epsilon} f(x)dx \le \int_{|X-EX|\ge \epsilon} \frac{(X-EX)^2}{\epsilon^2} f(x)dx=\frac{1}{\epsilon^2}\int_{|X-EX|\ge \epsilon}(X-EX)^2f(x)dx \le \frac{1}{\epsilon^2}\int_{-\infty}^{\infty}(X-EX)^2f(x)dx = \\
\frac{DX}{\epsilon^2} \quad 即\\
P\lbrace [|X-EX| \ge \epsilon] \rbrace \le \frac{DX}{\epsilon^2}
\]
概念 依概率收敛
对于任意的\(\epsilon\), 存在N，使得\(n \ge N\)时，\(|x_n - a| \le \epsilon\)， 记作\(x_n{\xrightarrow{P}}a\), 数学表达为:
\[\forall \epsilon \gt 0, \lim_{n->\infty}P[|x_n - a| \le \epsilon] = 1
\]
伯努利大数定律
对于n重伯努利实验, 有以下结论:
\[\forall \epsilon \gt 0\quad \lim_{n\rightarrow \infty}P[\frac{m}{n} - p \le \epsilon] = 1
\]
即当试验次数趋于无穷时，事件频率依概率收敛于事件概率
证明:
\[由 Em_n = np;Dm_n = npq \quad\quad得 E(\frac{m_n}{n}) = p ; D(\frac{m_n}{n})=\frac{(Dm_n)}{n^2} \\
所以, P[\frac{m_n}{n} - p \le \epsilon] \ge 1 - \frac{D(\frac{m_n}{n})}{\epsilon} = 1 - \frac{npq}{n^2 \epsilon } =1-\frac{pq}{n\epsilon} \\
当 n \rightarrow \infty时， 1-\frac{pq}{n\epsilon} = 1, 而 P[\frac{m_n}{n} - p \le \epsilon] \le 1 故：\\
\lim_{n\rightarrow \infty}P[\frac{m}{n} - p \le \epsilon] = 1
\]
切比雪夫大数定律
设变量\(x^0 ... x^n\) 互相独立，且\(Ex_i, Dx_i\)均存在且有界，那么:
\[\lim_{n \rightarrow \infty}P\lbrace \frac{1}{n} \sum_{i=1}^n x_i - \frac{1}{n}\sum_{i=1}^{n}Ex_i\rbrace = 1
\]
切比雪夫大数定律表明\(n \rightarrow \infty\)时，独立随机变量的平均值依概率收敛于期望的平均值，特别的，当这些变量满足同分布时，就是平均值依概率收敛于期望
证明
设\(Y=\frac{1}{n}\sum x_i\)，则\(EY=\frac{1}{n}\sum Ex_i\) 方差\(DY=\frac{1}{n^2}\sum{Dx_i}\)
所以由切比雪夫不等式，
\[P\lbrace \frac{1}{n} \sum_{i=1}^n x_i - \frac{1}{n}\sum_{i=1}^{n}Ex_i \le \epsilon \rbrace \ge 1- \frac{DY}{\epsilon^2} = 1-\frac{\sum Dx_i}{n^2\epsilon} \ge1 - \frac{nM}{n^2\epsilon} \\
故\quad\quad \lim_{n \rightarrow \infty} P\lbrace \frac{1}{n} \sum_{i=1}^n x_i - \frac{1}{n}\sum_{i=1}^{n}Ex_i \le \epsilon \rbrace =1
\]
辛钦大数定律
设\(x_1 ...x_n\) 为独立同分布，若\(x\)期望\(Ex=u\)存在，则
\[\lim_{n \rightarrow \infty}P\lbrace \frac{1}{n} \sum_{i=1}^n x_i - u\rbrace = 1
\]
切比雪夫大数定律要求方差存在且有界但对随机变量不要求同分布。辛钦大数定律指明了在方差不存在但随机变量同分布时，均值依概率收敛于期望
