中心极限定理和大数定律

目录

• 依分布收敛
• 中心极限定理
• 依概率收敛
• 弱大数定律
• 平均收敛
• 强大数定律
• 习题

 

依分布收敛

定义 若有一列分布函数 \(\{F_n\}\) 和分布函数 \(F\) ，在 \(F\) 的每一个连续点，都有 \(F_n\to F\) ，则称 \(F_n\) 弱收敛于 \(F\) ，记为 \(F_n\stackrel{\omega}\longrightarrow F\) .

定义 若一列随机变量 \(\xi_n\) 的分布函数弱收敛于 \(\xi\) 的分布函数，则称 \(\xi_n\) 依分布收敛于 \(\xi\) ，记为 \(\xi_n\stackrel{d}\longrightarrow\xi\) .

 

海莱第一定理 若有一列分布函数 \(\{F_n\}\) ，则存在单调不减右连续的函数 \(F,\ 0\le F(x)\le 1,\ x\in\mathbb{R}\) 和子列 \(\{F_{n_k}\}\) ，使得对 \(F\) 的每一个连续点，都有 \(F_{n_k}\to F\) .

 

海莱第二定理 设有分布函数 \(F\) ，一列分布函数 \(\{F_n\}\) ， \(F_n\stackrel{\omega}\longrightarrow F\) ，若 \(g(x)\) 在 \(\mathbb{R}\) 上有界连续，则

\[\int_{-\infty}^{+\infty}g(x)dF_n(x) \to \int_{-\infty}^{+\infty}g(x)dF(x) \]

 

勒维连续型定理 设有分布函数 \(F\) ，一列分布函数 \(\{F_n\}\) ，若 \(F_n\stackrel{\omega}\longrightarrow F\) ，则相应的特征函数列 \(\{f_n(t)\}\) 关于 \(t\) 在任何有限区间一致收敛于 \(F\) 的特征函数 \(f(t)\) .

 

逆极限定理 设 \(f_n(t)\) 是分布函数 \(F_n(x)\) 的特征函数，如果对每个 \(t,\ f_n(t)\to f(t)\) ，且 \(f(t)\) 在 \(t=0\) 连续，则 \(f(t)\) 一定是某个分布函数 \(F\) 的特征函数，且 \(F_n\stackrel{\omega}\longrightarrow F\) .

 

例 4.1 用特征函数法证明二项分布的泊松逼近定理.

\(Proof.\) 设 \(\xi_n\) 服从二项分布 \(B(n,p)\) ，且 \(\lim_{n\to\infty}np_n = \lambda\) ，它的特征函数为 \(f_n(t) = (p_ne^{it}+q_n),\ q_n = 1-p_n\) ，则有

\[\lim_{n\to\infty}f_n(t) = \lim_{n\to\infty}\left(1+\dfrac{np_n(e^{it}-1)}{n}\right)^n = e^{\lambda(e^{it}-1)} \]

恰为泊松分布的特征函数，由逆极限定理即证.

 

推论 若有一列随机变量 \(\xi_n\) 和 \(\xi\) ，则下述等价

• \(\xi_n\stackrel{d}\longrightarrow\xi\)
• 对任意有界连续函数，有 \(Eg(\xi_n)\to Eg(\xi)\)
• 对任意实数 \(t\) 有 \(f_n(t)\to f(t)\)

 

推论 关于密度函数或分布列判断依分布收敛

• 若对任意 \(x,\ p_n(x)\to p(x)\) ，则 \(\xi_n\stackrel{d}\longrightarrow\xi\)
• 若对任意 \(j,\ p_n(x_j)\to p(x_j)\) ， \(\xi_n\stackrel{d}\longrightarrow\xi\)

 

性质

• 若 \(g(x)\) 在 \(\mathbb{R}\) 上连续，则若 \(\xi_n\stackrel{d}\longrightarrow\xi\) ，有 \(g(\xi_n)\stackrel{d}\longrightarrow g(\xi)\)
• 若有常数列 \(\{a_n\},\ \{b_n\}\) ，有分布函数 \(F\) ，一列分布函数 \(\{F_n\}\) ，若 \(a_n\to a,\ b_n\to b,\ F_n\to F\) ，则

\[$F_n(a_nx+b_n)\to F(ax+b) \]

• 若 \(\xi_n\stackrel{d}\longrightarrow\xi\) ，则 \(a_n\xi_n + b_n\stackrel{d}\longrightarrow a\xi +b\)

 

中心极限定理

德莫佛-拉普拉斯 用 \(S_n\) 表示 \(n\) 重伯努利实验中成功的次数，设 \(\Phi(x)\) 为标准正态分布的分布函数，则

\[\lim_{n\to\infty}P\left(\dfrac{S_n-np}{\sqrt{npq}}\le x\right) = \Phi(x) \]

可以看出二项分布逼近正态分布，其中

\[P(S_n=k) = b(k;n,p) \]

也就是说， \(n\) 次独立实验中成功 \(\alpha<k\le\beta\) 次的概率为

\[P(\alpha<S_n\le\beta) = P\left(\dfrac{\alpha-np}{\sqrt{npq}}<\dfrac{S_n-np}{\sqrt{npq}}\le \dfrac{\beta-np}{\sqrt{npq}}\right) \approx \Phi\left(\dfrac{\beta-np}{\sqrt{npq}}\right) - \Phi\left(\dfrac{\alpha-np}{\sqrt{npq}}\right) \]

需要注意这里是 \(n\) 个二项分布的累积，每个分布只有 \(1\) 次实验，类似于对分布的拆分： \(S_n\) 本身是二项分布，但是这里将 \(n\) 次实验拆成了 \(n\) 个随机变量的累计.

 

定义 设有一列随机变量 \(\xi_n\) ，若有常数 \(B_n>0,\ A_n\) 使得

\[\dfrac{1}{B_n}\sum_{k=1}^n\xi_k - A_n\stackrel{d}\longrightarrow N(0,1) \]

则称 \(\xi_n\) 服从中心极限定理.

 

林德贝格-勒维 设 \(\{\xi_n\}\) 独立同分布，记 \(S_n = \sum_{k=1}^n\xi_k,\ E\xi_1 = a,\ Var\xi_1 = \sigma^2\) ，则中心极限定理成立，即

\[\dfrac{S_n-na}{\sqrt{n}\sigma} \stackrel{d}\longrightarrow N(0,1) \]

从而我们可以类似于上进行估计；特别的，当 \(S_n\) 是二项分布，有 \(E\xi_1 = a,\ Var\xi_1 = pq\) .

 

李雅普诺夫定理 若 \(\{\xi_n\}\) 独立，存在常数 \(\delta>0\) ，使得

\[\dfrac{1}{(\sum_{k=1}^nVar\xi_k)^{1+\delta/2}}\sum_{k=1}^nE|\xi_k-E\xi_k|^{2+\delta} \to 0 \]

则中心极限定理成立.

 

依概率收敛

由于两个不同的随机变量可以有相同的分布函数，故分布函数的收敛性不能反映随机变量序列取值之间的接近程度，因此需要引入另外的收敛性.

 

定义 设 \(\xi,\ \xi_n,\ n\ge 0\) 是定义在同一概率空间 \((\Omega,\mathcal{F},P)\) 上的随机变量，若有

\[\forall \epsilon > 0,\quad \lim_{n\to\infty}P(|\xi_n-\xi|\ge\epsilon) = 0 \]

则称 \(\xi_n\) 依概率收敛于 \(\xi\) ，记作 \(\xi_n\stackrel{P}\longrightarrow \xi\) .

 

设 \(\xi,\ \xi_n,\ n\ge 0\) 是定义在同一概率空间 \((\Omega,\mathcal{F},P)\) 上的随机变量

• 若 \(\xi_n\stackrel{P}\longrightarrow \xi\) ，则 \(\xi_n\stackrel{d}\longrightarrow\xi\)
• 若 \(\xi_n\stackrel{d}\longrightarrow c\) ，其中 \(c\) 为常数，则 \(\xi_n\stackrel{P}\longrightarrow c\)

注意随机变量为 \(c\) ，则有分布列 \(P(\xi=c) = 1\) ，从而有分布函数

\[F(x) = \left\{ \begin{aligned} &0,\quad x<c\\ &1,\quad x\ge c \end{aligned} \right. \]

 

马尔科夫不等式 设 \(\xi\) 是定义在概率空间 \((\Omega,\mathcal{F},P)\) 上的随机变量， \(f(x)\) 是 \([0,\infty)\) 上的非负单调不减函数，则有

\[\forall x>0,\quad P(|\xi|>x)f(x) \le Ef(|\xi|) \]

这里改写了不等式，注意到左边是一个类似于期望的格式，这样比较直观，事实上

\[P(|\xi|>x)f(x) = \int_{|y|>x}f(x)dF(y) \le \int_{|y|>x}f(y)dF(y) \le \int_{\Omega}f(y)dF(y) = Ef(|\xi|) \]

 

\(\xi_n\stackrel{P}\longrightarrow \xi\) 当且仅当

\[E\dfrac{|\xi_n-\xi|^2}{1+|\xi_n-\xi|^2} \to 0 \]

\(Proof.\) 注意到 \(f(x) = x^2/(1+x^2)\) 非负单调不减，由上即证.

 

弱大数定律

伯努利大数定律 设 \(\{\xi_n\}\) 独立同分布， \(P(\xi_n=1) = p,\ P(\xi_n=0) = 1-p,\ 0<p<1\) ，记 \(S_n = \sum_{i=1}^n\xi_i\) ，则

\[\dfrac{S_n}{n} \stackrel{P}\longrightarrow p \]

 

设 \(\{\xi_n\}\) 是定义在概率空间 \((\Omega,\mathcal{F},P)\) 上的随机变量序列，若有常数列 \(\{a_n\},\ \{b_n\}\) 使得

\[\dfrac{1}{a_n}\sum_{k=1}^n\xi_k - b_n \stackrel{P}\longrightarrow 0 \]

则称 \(\{\xi_n\}\) 服从弱大数定律.

 

使用伯努利大数定律估计

\[\xi_i\sim B(1,p),\quad S_n = \sum_{i=1}^n\xi_i \]

则有估计

\[P(S_n\le x) = P\left(\dfrac{S_n-np}{\sqrt{npq}}\le \dfrac{x-np}{\sqrt{npq}}\right) \approx \Phi\left(\dfrac{x-np}{\sqrt{npq}}\right) \]

其中 \(q=1-p\) .

 

切比雪夫大数定律 设 \(\{\xi_n\}\) 是定义在概率空间 \((\Omega,\mathcal{F},P)\) 上的独立随机变量序列， \(E\xi_n = \mu_n,\ Var\xi_n = \sigma_n^2\) ，若有 \(\sum_{k=1}^n\sigma_k^2/n^2\to 0\) ，则称 \(\{\xi_n\}\) 服从弱大数定律，即

\[\dfrac{1}{n}\sum_{k=1}^n\xi_k - \dfrac{1}{n}\sum_{k=1}^n\mu_k \stackrel{P}\longrightarrow 0 \]

\(Proof.\) 考虑 \(\sum_{k=1}^n\xi_k/n\) ，则

\[E\left(\dfrac{1}{n}\sum_{k=1}^n\xi_k\right) = \dfrac{1}{n}\sum_{k=1}^n\mu_k,\quad Var\left(\dfrac{1}{n}\sum_{k=1}^n\xi_k\right) = \dfrac{1}{n^2}\sum_{k=1}^n\sigma_k^2 \]

由切比雪夫不等式

\[P\left(\left|\dfrac{1}{n}\sum_{k=1}^n(\xi_k -\mu_k)\right|\ge\epsilon\right) \le \dfrac{1}{\epsilon^2}Var\left(\dfrac{1}{n}\sum_{k=1}^n\xi_k\right) = \dfrac{1}{\epsilon^2n^2}\sum_{k=1}^n\sigma_k^2 \to 0 \]

即证.

 

马尔科夫大数定律 设 \(\{\xi_n\}\) 是定义在概率空间 \((\Omega,\mathcal{F},P)\) 上的独立随机变量序列， \(E\xi_n = \mu_n\) ，若有 \(Var(\sum_{k=1}^n\xi_k^2)/n^2\to 0\) ，则称 \(\{\xi_n\}\) 服从弱大数定律，即

\[\dfrac{1}{n}\sum_{k=1}^n\xi_k - \dfrac{1}{n}\sum_{k=1}^n\mu_k \stackrel{P}\longrightarrow 0 \]

证明是类似的，可以省去最后一步.

 

辛钦大数定律 设 \(\{\xi_n\}\) 是定义在概率空间 \((\Omega,\mathcal{F},P)\) 上的独立同分布随机变量序列， \(E|\xi_1|<\infty\) ，记 \(\mu=E\xi_1,\ S_n=\sum_{k=1}^n\xi_k\) ，则 \(\{\xi_n\}\) 服从弱大数定律，即

\[\dfrac{S_n}{n} \stackrel{P}\longrightarrow \mu \]

 

平均收敛

设 \(\xi,\ \xi_n,\ n\ge 1\) 是定义在同一概率空间 \((\Omega,\mathcal{F},P)\) 上的随机变量， \(E|\xi|^r<\infty,\ E|\xi_n|^r<\infty,\ n\ge1,\ 0<r<\infty\) ，若

\[E|\xi_n-\xi|^r \to 0 \]

则称 \(\{\xi_n\}\) \(r\) 阶平均收敛于 \(\xi\) ，记作 $\xi_n\stackrel{L_r}\longrightarrow\xi $.

 

强大数定律

定义 设 \(\xi,\ \xi_n,\ n\ge 1\) 是定义在同一概率空间 \((\Omega,\mathcal{F},P)\) 上的随机变量，若存在 \(\Omega_0\in\mathcal{F}\) 使得 \(P(\Omega_0) = 1\) ，且对任意 \(\omega\in\Omega_0\) 有 \(\xi_n(\omega)\to\xi(\omega)\) ，则称 \(\xi_n\) 以概率 \(1\) 收敛或几乎必然收敛于 \(\xi\) ，记作 \(\xi_n\to\xi\ \mathrm{a.s.}\)

 

定义 若有 \(\Omega_0\in\mathcal{F}\) 使得 \(P(\Omega_0) = 1\) ，且对任意 \(\omega\in\Omega_0\) ， \(\{\xi_n(\omega)\}\) 是柯西基本列，即 \(\xi_n(\omega)-\xi_m(\omega)\to 0\) ，则称 \(\xi_n\) 以概率 \(1\) 是柯西基本列。这意味着至多除去一个零概率事件外， \(\xi_n\) 逐点收敛于 \(\xi\) .

 

设 \(\xi,\ \xi_n,\ n\ge 1\) 是定义在同一概率空间 \((\Omega,\mathcal{F},P)\) 上的随机变量

• \(\xi_n\to\xi\ \mathrm{a.s.}\) 当且仅当对任意 \(\epsilon > 0\)

\[\lim_{n\to\infty}P\left(\sup_{k\ge n}|\xi_k-\xi|\ge\epsilon\right) = 0 \]

• \(\{\xi_n\}\) 以概率 \(1\) 是柯西基本列当且仅当对任意 \(\epsilon > 0\)

\[\lim_{n\to\infty}P\left(\sup_{k\ge 0}|\xi_{k+n}-\xi_k|\ge\epsilon\right) = 0 \]

 

设 \(\{\xi_n\}\) 是定义在概率空间 \((\Omega,\mathcal{F},P)\) 上的随机变量序列，若有常数列 \(\{a_n\},\ \{b_n\}\) 使得

\[\dfrac{1}{a_n}\sum_{k=1}^n\xi_k - b_n \to 0\quad \mathrm{a.s.} \]

则称 \(\{\xi_n\}\) 服从强大数定律.

 

波雷尔强大数定律 设 \(\{\xi_n\}\) 是定义在概率空间 \((\Omega,\mathcal{F},P)\) 上的独立同分布随机变量序列， \(P(\xi_n=1) = p,\ P(\xi_n=0) = 1-p,\ 0<p<1\) ，记 \(S_n=\sum_{k=1}^n\xi_k\) ，则

\[\dfrac{S_n}{n} \to p\quad \mathrm{a.s.} \]

 

柯尔莫哥洛夫强大数定律 设 \(\{\xi_n\}\) 是定义在概率空间 \((\Omega,\mathcal{F},P)\) 上的独立同分布随机变量序列， \(E|\xi_1|<\infty\) ，记 \(\mu=E\xi_1,\ S_n=\sum_{k=1}^n\xi_k\) ，则 \(\{\xi_n\}\) 服从强大数定律，即

\[\dfrac{S_n}{n} \stackrel{P}\longrightarrow \mu\quad \mathrm{a.s.} \]

 

习题

3. 设 \(\{\xi_n\}\) 独立同分布，有分布列

\[\left[ \begin{matrix} -1 & 1\\ 0.5 & 0.5 \end{matrix} \right] \]

令 \(\eta_n = \sum_{k=1}^n\xi_k/2^k\) ，则 \(\eta_n\) 分布依收敛于 \(U[-1,1]\) .

只需证明分布的特征函数收敛于均匀分布的特征函数即可；若 \(\xi_n\) 有特征函数 \(f_{\xi_n}(t)\) ，则

\[f_{\eta_n}(t) = \prod_{k=1}^nf_{\xi_k}(t) \]

然后证明 \(f_{\eta_n}(t)\) 的收敛.

 

11. 在伯努利实验中，若 \(0<p<1\) ，则不管 \(A\) 多大，有

\[P(|\mu_n-np|<A) \to 0 \]

由于德莫佛-拉普拉斯定理，有

\[P(|\mu_n-np|<A) = P\left(\left|\dfrac{\mu_n-np}{\sqrt{npq}}\right|<\dfrac{A}{\sqrt{npq}}\right) = 2\Phi\left(\dfrac{A}{\sqrt{npq}}\right) - 1 \to 2\Phi(0)-1 = 0 \]

即证.

 

12. 证明泊松分布的标准化变量在参数 \(\lambda\to\infty\) 时趋近标准正态分布.

标准化变量为 \((\xi-E\xi)/\sqrt{Var\xi}\) ，因此

\[\eta = \dfrac{\xi-\lambda}{\sqrt{\lambda}},\quad f(t) = e^{-it\sqrt{\lambda}+\lambda(i\frac{t}{\sqrt{\lambda}}-1)} \to e^{-\frac{t^2}{2}+O(1)} \to e^{-\frac{t^2}{2}} \]

得到标准正态分布的特征函数，由逆极限定理即证.

 

13. 证明当 \(n\to\infty\) 有

\[e^{-n}\sum_{k=0}^n\dfrac{n^k}{k!} \to \dfrac{1}{2} \]

注意到类似于泊松分布，可以考虑 \(\xi_i\sim P(1)\) ，则有 \(S_n = \sum_{i=1}^n\xi_i \sim P(n),\ E\xi_1 = 1,\ Var\xi_1 = 1\) ，从而

\[e^{-n}\sum_{k=0}^n\dfrac{n^k}{k!} = \sum_{k=0}^nP(S_n=k) = P(S_n\le n) = P\left(\dfrac{S_n-n}{\sqrt{n}}\le \dfrac{n-n}{\sqrt{n}}\right) \to \Phi(0) = \dfrac{1}{2} \]

应用了中心极限定理.

 

14. 设 \(\{\xi_n\},\{\eta_n\}\) 独立同分布，且 \(E\xi_n = 0,\ Var\xi_n = 1,\ P(\eta_n=\pm1)=1/2\) ，证明 \(S_n = \sum_{k=1}^n\xi_k\eta_k/\sqrt{n}\) 分布函数趋近标准正态分布.

只需求出 \(E\xi_n\eta_n,\ Var\xi_n\eta_n\) ，然后运用中心极限定理.

 

17. 设 \(\{\xi_n\}\) 独立同分布，密度为

\[p(x) = \left\{ \begin{aligned} &e^{-(x-a)},\quad &x >a\\ &0,\quad &x\le a \end{aligned} \right. \]

令 \(\eta_n = \min(\xi_1,\cdots,\xi_n)\) ，证明 \(\eta_n\stackrel{P}\longrightarrow a\) .

利用定义进行证明

\[P(|\eta_n-a|\ge\epsilon) = P(\eta_n\ge a+\epsilon) + P(\eta_n\le a-\epsilon) \]

由密度函数有 \(P(\eta_n\le a-\epsilon) = 0\) ，从而有 \(n\to\infty\) 时

\[P(|\eta_n-a|\ge\epsilon) = P(\eta_n\ge a+\epsilon) = P(\min(\xi_1,\cdots,\xi_n)\ge a+\epsilon) = \prod_{k=1}^nP(\xi_k\ge a+\epsilon) = \prod_{k=1}^n\int_{a+\epsilon}^{+\infty}e^{-(x-a)}dx \to 0 \]

即证.

 

18. 几个重要的结论

• 若 \(\xi_n\stackrel{P}\longrightarrow \xi,\ \eta_n\stackrel{P}\longrightarrow c\) ，且 \(\eta_n,c\neq 0\) ，则 \(\xi_n/\eta_n\stackrel{P}\longrightarrow \xi/c\) .
• 若 \(\xi_n\stackrel{d}\longrightarrow \xi,\ \eta_n\stackrel{P}\longrightarrow c\) ，则 \(\xi_n+\eta_n\stackrel{d}\longrightarrow \xi+c,\ \xi_n/\eta_n\stackrel{d}\longrightarrow \xi/c\) .

 

证明服从大数定律

• 若 \(\{\xi_n\}\) 独立同分布，考虑辛钦大数定律
• 若 \(\{\xi_n\}\) 独立，考虑切比雪夫大数定律，计算 \(\sum_{k=1}^n\sigma_k^2/n^2\to 0\)
• 若 \(\{\xi_n\}\) 只是随机变量，考虑马尔科夫大数定律：计算 \(Var(\sum_{k=1}^n\xi_k^2)/n^2\to 0\)

 

21. 伯恩斯坦定理：设 \(\{\xi_k\}\) 方差有界，且 \(|i-j|\to\infty\) 时 \(Cov(\xi_i,\xi_j)\to 0\) ，则 \(\{\xi_k\}\) 服从大数定律.

不妨设 \(Var\xi_k\le c\) ，则有

\[\dfrac{1}{n^2}Var\left(\sum_{k=1}^{+\infty}\xi_k\right) = \dfrac{1}{n^2}\left(\sum_{|i-j|>N}Cov(\xi_i,\xi_j)+\sum_{|i-j|\le N}Cov(\xi_i,\xi_j)\right) \]

其中有 \(|i-j|>N\) 时， \(Cov(\xi_i,\xi_j)<\epsilon\) ，分成两部分后证明趋于 \(0\) 即可.

 

23. 使用连续函数变换。若 \(\{\xi_n\}\) 独立同分布，服从 \([0,1]\) 上的均匀分布，令 \(\eta_n=(\prod_{k=1}^n\xi_k)^{1/n}\) ，则 \(\eta_n\stackrel{P}\longrightarrow c\) .

使用变换 \(f(x) = \ln x\) ，则考虑 \(\ln\xi_n\) 满足辛钦大数定律即可.

 

24. 证明依概率收敛。若 \(\{\xi_n\}\) 独立同分布， \(E\xi_k=a,\ Var\xi<\infty\) ，则

\[\dfrac{2}{n(n+1)}\sum_{k=1}^nk\xi_k \stackrel{P}\longrightarrow a \]

考虑切比雪夫不等式

\[P\left(\left|\dfrac{2}{n(n+1)}\sum_{k=1}^nk\xi_k-a\right|\ge \epsilon\right) = P\left(\left|\sum_{k=1}^nk\xi_k-E\left(\sum_{k=1}^nk\xi_k\right)\right|\ge \dfrac{\epsilon n(n+1)}{2}\right) \le \dfrac{4Var\left(\sum_{k=1}^nk\xi_k\right)}{(\epsilon n(n+1))^2} \]

拆开即证.

 

25. 若 \(\{\xi_n\}\) 独立同分布，都服从 \(N(0,1)\) 分布， \(\eta_n=n\xi_{n+1}/\sum_{k=1}^n\xi_k^2\) ，证明 \(\eta_n\stackrel{d}\longrightarrow N(0,1)\) .

观察到除法，考虑

\[\xi_{n+1} \stackrel{d}\longrightarrow N(0,1),\quad \dfrac{\sum_{k=1}^n\xi_k^2}{n} \stackrel{P}\longrightarrow 1 \]

其中第二个收敛性是辛钦大数定律得到的，因此，运用之前的结论即证.

 

28. 设 \(\{\xi_k \},\{\eta_k\}\) 相互独立同分布，服从 \(N(0,1)\) 分布，且 \(\{a_n\}\) 为常数列，则

\[\dfrac{1}{n}\left(\sum_{k=1}^na_k\xi_k+\sum_{k=1}^n\eta_k \right) \stackrel{P}\longrightarrow 0 \]

当且仅当

\[\dfrac{1}{n^2}\sum_{k=1}^na_k^2 \rightarrow 0 \]

如果下式成立，则利用马尔科夫大数定律，我们计算

\[\dfrac{1}{n}Var\left(\sum_{k=1}^na_k\xi_k+\sum_{k=1}^n\eta_k \right) = \dfrac{1}{n^2}\sum_{k=1}^na_k^2+\dfrac{1}{n}\to 0 \]

从而有

\[\dfrac{1}{n}\left(\sum_{k=1}^na_k\xi_k+\sum_{k=1}^n\eta_k \right) \stackrel{P}\longrightarrow 0 \]

反之，由于

\[\sum_{k=1}^na_k\xi_k+\sum_{k=1}^n\eta_k \sim N\left(0, \sum_{k=1}^na_k^2+n \right) \]

可以使用切比雪夫不等式

\[P\left(\left|\dfrac{1}{n}\left(\sum_{k=1}^na_k\xi_k+\sum_{k=1}^n\eta_k \right)\right| \ge \epsilon \right) = 2P\left(N\left(0, \sum_{k=1}^na_k^2+n \right) \ge \epsilon n\right) = 2P\left(N(0,1)\ge \dfrac{\epsilon n}{\sqrt{\sum_{k=1}^na_k^2+n}} \right) \to 0 \]

因此有

\[\dfrac{\epsilon n}{\sqrt{\sum_{k=1}^na_k^2+n}} \to\infty,\quad \dfrac{1}{n^2}\sum_{k=1}^na_k^2 \rightarrow 0 \]

即证.