随笔- 11 文章- 0 评论- 0 阅读- 1438

大数定律的内涵是在大量的重复实验中，可以以统计上的指标代替概率上的指标，相关定理等描述的都是这么做的合理性

切比雪夫不等式

定义:

P {[| X - E X | \geq ϵ]} \leq \frac{D X}{ϵ^{2}}

$P\lbrace [|X-EX| \ge \epsilon] \rbrace \le \frac{DX}{\epsilon^2}$

证明:

P {[| X - E X | \geq ϵ]} = \int_{| X - E X | \geq ϵ} f (x) d x 因 为 | X - E X | \geq ϵ 故 (X - E X)^{2} \geq ϵ^{2}; \frac{(X - E X)^{2}}{ϵ^{2}} \geq 1 故 \int_{| X - E X | \geq ϵ} f (x) d x \leq \int_{| X - E X | \geq ϵ} \frac{(X - E X)^{2}}{ϵ^{2}} f (x) d x = \frac{1}{ϵ^{2}} \int_{| X - E X | \geq ϵ} (X - E X)^{2} f (x) d x \leq \frac{1}{ϵ^{2}} \int_{- \infty}^{\infty} (X - E X)^{2} f (x) d x = \frac{D X}{ϵ^{2}} 即 P {[| X - E X | \geq ϵ]} \leq \frac{D X}{ϵ^{2}}

$P\lbrace [|X-EX| \ge \epsilon] \rbrace = \int_{|X-EX|\ge \epsilon} f(x)dx \quad 因为|X-EX| \ge \epsilon\\ 故\quad(X-EX)^2 \ge \epsilon^2; \frac{(X-EX)^2}{\epsilon^2} \ge 1 \\ 故 \int_{|X-EX|\ge \epsilon} f(x)dx \le \int_{|X-EX|\ge \epsilon} \frac{(X-EX)^2}{\epsilon^2} f(x)dx=\frac{1}{\epsilon^2}\int_{|X-EX|\ge \epsilon}(X-EX)^2f(x)dx \le \frac{1}{\epsilon^2}\int_{-\infty}^{\infty}(X-EX)^2f(x)dx = \\ \frac{DX}{\epsilon^2} \quad 即\\ P\lbrace [|X-EX| \ge \epsilon] \rbrace \le \frac{DX}{\epsilon^2}$

概念依概率收敛

对于任意的 $\epsilon$ , 存在N，使得 $n \ge N$ 时， $|x_n - a| \le \epsilon$ ，记作 $x_n{\xrightarrow{P}}a$ , 数学表达为:

\forall ϵ > 0, lim_{n - > \infty} P [| x_{n} - a | \leq ϵ] = 1

$\forall \epsilon \gt 0, \lim_{n->\infty}P[|x_n - a| \le \epsilon] = 1$

伯努利大数定律

对于n重伯努利实验, 有以下结论:

\forall ϵ > 0 lim_{n \to \infty} P [\frac{m}{n} - p \leq ϵ] = 1

$\forall \epsilon \gt 0\quad \lim_{n\rightarrow \infty}P[\frac{m}{n} - p \le \epsilon] = 1$

即当试验次数趋于无穷时，事件频率依概率收敛于事件概率
证明:

由 E m_{n} = n p; D m_{n} = n p q 得 E (\frac{m_{n}}{n}) = p; D (\frac{m_{n}}{n}) = \frac{(D m_{n})}{n^{2}} 所 以, P [\frac{m_{n}}{n} - p \leq ϵ] \geq 1 - \frac{D (\frac{m_{n}}{n})}{ϵ} = 1 - \frac{n p q}{n^{2} ϵ} = 1 - \frac{p q}{n ϵ} 当 n \to \infty 时 ， 1 - \frac{p q}{n ϵ} = 1, 而 P [\frac{m_{n}}{n} - p \leq ϵ] \leq 1 故 ： lim_{n \to \infty} P [\frac{m}{n} - p \leq ϵ] = 1

$由 Em_n = np;Dm_n = npq \quad\quad得 E(\frac{m_n}{n}) = p ; D(\frac{m_n}{n})=\frac{(Dm_n)}{n^2} \\ 所以, P[\frac{m_n}{n} - p \le \epsilon] \ge 1 - \frac{D(\frac{m_n}{n})}{\epsilon} = 1 - \frac{npq}{n^2 \epsilon } =1-\frac{pq}{n\epsilon} \\ 当 n \rightarrow \infty时， 1-\frac{pq}{n\epsilon} = 1, 而 P[\frac{m_n}{n} - p \le \epsilon] \le 1 故：\\ \lim_{n\rightarrow \infty}P[\frac{m}{n} - p \le \epsilon] = 1$

切比雪夫大数定律

设变量 $x^0 ... x^n$ 互相独立，且 $Ex_i, Dx_i$ 均存在且有界，那么:

lim_{n \to \infty} P {\frac{1}{n} \sum_{i = 1}^{n} x_{i} - \frac{1}{n} \sum_{i = 1}^{n} E x_{i}} = 1

$\lim_{n \rightarrow \infty}P\lbrace \frac{1}{n} \sum_{i=1}^n x_i - \frac{1}{n}\sum_{i=1}^{n}Ex_i\rbrace = 1$

切比雪夫大数定律表明 $n \rightarrow \infty$ 时，独立随机变量的平均值依概率收敛于期望的平均值，特别的，当这些变量满足同分布时，就是平均值依概率收敛于期望
证明
设 $Y=\frac{1}{n}\sum x_i$ ，则 $EY=\frac{1}{n}\sum Ex_i$ 方差 $DY=\frac{1}{n^2}\sum{Dx_i}$
所以由切比雪夫不等式，

P {\frac{1}{n} \sum_{i = 1}^{n} x_{i} - \frac{1}{n} \sum_{i = 1}^{n} E x_{i} \leq ϵ} \geq 1 - \frac{D Y}{ϵ^{2}} = 1 - \frac{\sum D x_{i}}{n^{2} ϵ} \geq 1 - \frac{n M}{n^{2} ϵ} 故 lim_{n \to \infty} P {\frac{1}{n} \sum_{i = 1}^{n} x_{i} - \frac{1}{n} \sum_{i = 1}^{n} E x_{i} \leq ϵ} = 1

$P\lbrace \frac{1}{n} \sum_{i=1}^n x_i - \frac{1}{n}\sum_{i=1}^{n}Ex_i \le \epsilon \rbrace \ge 1- \frac{DY}{\epsilon^2} = 1-\frac{\sum Dx_i}{n^2\epsilon} \ge1 - \frac{nM}{n^2\epsilon} \\ 故\quad\quad \lim_{n \rightarrow \infty} P\lbrace \frac{1}{n} \sum_{i=1}^n x_i - \frac{1}{n}\sum_{i=1}^{n}Ex_i \le \epsilon \rbrace =1$