Examples

初探大数定律与中心极限定理(更新中)

写本文的目的主要是笔者想经由自己的手完整勾勒一遍这两个定理的证明轮廓,并尝试根据自己的想法去主观地“解释”一些证明的 motivation。

本文正文内容是主体内容与证明,旁支定理的证明与辅助理解的文字将使用引用格式(Part 3 整体都可跳过),希望仅阅读主体部分的读者能够在不接触较为艰深的推导的情况下,做到一个感性的认知。

另外,阅读本文可能需要较为基础的测度论作为前置知识。

Part 1 前置定义引入

古往今来,数学家一直十分着迷于证明定理的必然正确性。但事情并没有那么完美,数学家们也需要做出一些妥协,比如他们引入了“几乎必然”(almost surely,简写为 a.s.)——如果一件事情不满足的概率为 0,我们就称其几乎必然发生。

但是,这一条件仍然很强,在对“收敛”这一问题的讨论上,他们引入了“依概率收敛”(converge in probability)——对于随机变量(random variable)列 Xn 以及随机变量 X,如果对任意 ε>0,在 n 时都有 μ({w|Xn(w)X(w)|>ε})0,我们就称 Xn 依概率收敛于 X

【壹】几乎必然收敛与依概率收敛的关系是什么?
①几乎必然收敛 依概率收敛:
反证,若不依概率收敛,我们便可取这样的 ε,那么 {w|Xn(w)X(w)|>ε}{wXn(w)X(w)},而左侧概率非零,于是 Xn 自然就不几乎必然收敛于 X
②依概率收敛 ⟹̸ 几乎必然收敛:
我们尝试对这两者做一个粗略的概括:画一个二维表格,横行对应 n,纵列对应概率空间的每个元素。几乎必然收敛反映着不收敛于 X(w)的纵列 w 构成的集合是零测的,而依概率收敛则反映着对于 ε>0,在横行 n 时,n 这一行中,与 X(w) 差距大于 ε 的纵列 w 构成的集合的测度趋于零。
于是我们要构造的随机变量就必须在横行上不符合的位置越来越少,且让每一纵列都常常不符合(这样就不收敛了)。可以造一个 [0,1] 上的区间,长度递减且通过平移覆盖了每个位置,使得随机变量在这些位置上不符合。
即对于 u1,v[1,u],我们有 X(u1)u2+v([v1u,vu])=1,同时装备勒贝格测度。可以发现这一随机变量列依概率收敛于恒为零的随机变量 X,但是并不几乎必然收敛。

根据壹中的经验,我们可以再引入一个概念:“无穷频繁”(infinitely often,简写为 i.o.。这一概念是我强行译过来的,可能有不当之处),对于一个事件(事件是概率空间中元素的集合),若其只在有限个下标上不发生,我们就称一个事件在序列上无穷频繁。

【贰】
若用集合来描述发生的事件,无穷频繁实际上有一个等价的表述,我们有 lim supAn=limmn=mAn={wwAn i.o.}
类似地,我们有 lim infAn=limmn=mAn={wwAn for all but finitely many n}

我们也可以通过无穷频繁给出一个几乎必然收敛的等价定义:

【定理】XnX a.s. 当且仅当对于 ε>0,我们都有 P(|XnX|>ε i.o.)=0

【证明】我们将右侧换为等价描述,即证 P(mlim supnAn(1m))=0,其中 An(ε)={w|Xn(w)X(w)|>ε}
Ω0={wXn(w)X(w)}。由 a.s. 收敛可知 P(Ω0)=0
而我们可以发现 lim supnAn(ε)Ω0(通过考察定义),于是 P(ε>0lim supnAn(ε))mP(lim supnAn(1m))=0

在我们实际证明 a.s. 收敛过程中往往不能做出很细致的刻画,此时我们就可以借助 Borel-Cantelli 引理。

【定理】Borel-Cantelli 引理:若事件列 An 满足 P(An)<,那么有 P(lim supAn)=0

【证明】令随机变量 N=1An,那么 E(N)=E(1An)=P(An)<,而这足以说明 N< a.s.,而 N 的含义即为发生的事件数量,N(w)< 等价于 wlim supAn
为什么 E(N)<N< a.s.?反证法即可。

【叁】
Borel-Cantelli 引理建立了依概率收敛到几乎处处收敛的一个桥梁,具体地,我们有:
Xn 依概率收敛于 X 当且仅当对于所有子序列 Xn(m),其存在子序列 Xn(mk)X a.s.
(下面证明摘自我的作业,之后会改成中文)
Prove :
If XnX in probability, then for subsequence Xn(m). We can pick a subsequence m1,m2,, such that P(|Xn(mk)X|>1k)<2k by picking them sequentially where mk>mk1.
Then, P(|Xn(mk)X|>1k)<1<, we can know that P(lim supkAk)=0 where Ak=|Xn(mk)X|>1k, which means that P({wwAki.o.})=0 which means Xn(mk)X almost surely.
Prove :
For all ε>0, for a subsequence n(m), let fn=P({w|Xn(w)X(w)|>ε}).
We can see that, for each subsequence n(m), there's n(mk) such that Xn(mk) converges to X almost surely, which implies Xn(mk) converges to X in probability, then fn(mk) converges to 0. Then f is a Cauchy sequence, which means f0. That is, XnX in probability.

我们在概率和趋于无穷时,我们也有类似的 Borel-Cantelli 第二引理,但是要求事件独立。

【定理】Borel-Cantelli 第二引理:若独立事件列 An 满足 P(An)=,那么有 P(lim supAn)=1

【证明】
对于任意 M,我们实际上可以证明 P(nMAn)=1
我们取 NM,推一推:
P(n=MNAn)=1P(n=MNAnc)=1n=MN(1P(An))1en=MNP(An)
Nn=MNP(An),自然就有了 P(nMAn)=1

Part 2 强大数定律

这一节,我们的目标是证明期望有限的强大数定律,即——

【定理】强大数定律:对于独立同分布随机变量列 Xn,若有 E|X1|=μ<,那么有 i=1nXinμ a.s.

在此之前,让我们先证明其更简单的情况:

【定理】Kolmogorov 二级数定理(翻译参考自 Wikipedia):对于独立随机变量列 Xn,若有 Var(Xn)<,那么 (XnE(Xn)) 几乎必然收敛。

为方便,不妨平移使得 E(Xi)=0

我们只知收敛而不知极限,Cauchy 列是处理这种情况的利器。令 SN=n=1NXn,我们想控制 P(maxmM|SmSM|ε) 来说明其为 Cauchy 列,此时需要先引入一个新的定理以解决问题。

【定理】Kolmogorov 极大不等式:对于独立随机变量列 Xn,若有 E(Xi)=0,Var(Xi)<。令 SN=n=1NXn,对于 ε>0,我们有 P(maxn=1N|Sn|ε)Var(Sn)ε2
【证明】(下面证明摘自我的笔记,之后会改成中文)
Let T=min{j⩽∣|Sj|ε} and T= when jn,|Sj|<ε.
We can see that P(Tj)=P(|Sj|<ε,1ij1), and:
P(max1jn|Sj|ε)=P(Tn)=E(I{Tn})E(ST2ε2I{Tn})ε2E(STn2)=ε2E(j=1TnXj)2=ε2E(i=1nXjI{Tj})2=ε2(E(j=1nXj2I{Tj})+2E(i<jXiXjI{Tj}))
Split it into two parts:
E(j=1nXj2I{Tj})j=1nE(Xj2)=Var(Sn).
E(i<jXiXjI{Tj}])=i<jE(Xi)E(Xj)I{Tj}=0.
In conclusion: P(max1jn|Sj|ε)Var(Sn)ε2.

得到了 Kolmogorov 极大不等式后,我们便可以继续了:

P(maxm=MN|SmSM|ε)Var(SNSM)ε2=n=M+1NVar(Xn)ε2P(maxmM|SmSM|ε)n=M+1Var(Sn)ε2

由方差和有限可知,当 MP(maxmM|SmSM|ε)0

接下来的工作较为平凡,令 wM=supm,nM|SmSn|,那么对于 ε>0,有 P(wM2ε)P(supmM|SmSM|ε)0,即 wM<2ε a.s.,那么 Sn 几乎必然是 Cauchy 列,于是其几乎必然收敛。

接下来我们就可以着手证明强大数定律了,让我们不妨假设 μ=0 并重新写出我们的目标:对于独立同分布随机变量列 Xn,若有 E|X1|=0,那么有 i=1nXin0 a.s.

强大数定律证明的关键思想是截断(truncation),我们令 Yn=Xn1|Xn|nE(Xn1|Xn|n),Zn=Xn1|Xn|>nE(Xn1|Xn|>n),那么 Xn=Yn+Zn(因为 E(Xn1|Xn|n)+E(Xn1|Xn|>n)=E(Xn)=0)。我们接下来尝试分别处理 i=1nYini=1nZin

Y~n=Xn1|Xn|n,那么 Yn=Y~nE(Y~n),且 Var(Yn)=E((Y~nE(Y~n))2)=E(Y~n2)E(Y~n)2,接下来我们尝试对 Ynn 应用 Kolmogorov 二级数定理。

【肆】对 Kolmogorov 二级数定理应用条件的检验。
n=1Var(Yn)n2n=1(E(X12)1|X1|n)n2E(X12n=11n21|X1|n)E(X12n|X1|2n(n+1))2E(X12(1|X1|1))2E(|X1|+1)<

应用 Kolmogorov 二级数定理后,我们知道 n=1nYii 几乎必然收敛,对此我们要引用另一个工具:

【定理】Kronecher 引理:对于 0<a1<a2<<an,我们有 i=1nxiais<i=1nxian0
【证明】(下面证明摘自我的笔记,之后会改成中文)
Let bn=i=1nxiai, then xn=an(bnbn1):
i=1nxian=1ani=1nai(bibi1)=1an(anbn+i=1n1aibii=1naibi1)=bn1ani=1nbi1(aiai1)
We know that for ε>0, there exists N such that n>N|bns|<ε, then:
i=1nxiai=bn1an(i=1N1bi1(aiai1+i=Nn(aiai1)s+i=Nn(aiai1(bi1s))))
Split it into four parts, when n:
bns.
1ani=1N1bi1(aiai1)0 since an and the summation is finite.
1ani=Nn(aiai1)s=s(anaN1)ans.
④Let T=1ani=Nn(aiai1)(bi1s), then |T|1ani=Nn(aiai1)ε=(1aN1an)ε.
In conclusion, i=1nxiai0 when n.

通过 Kronecher 引理我们可以发现,对于所有概率空间中的元素 w,若 i=1nYi(w)i 收敛,那么 i=1nYi(w)n0。结合上面的结果,我们便得到了 i=1nYin0 a.s.

相较于 YnZn 的处理就显得格外小巧:

【伍】对 Zn 的处理。
(下面证明摘自我的笔记,之后会改成中文)
For wΩ, let N(w)={i|Xi|>i}, then almost surely |1ni=1nXi(w)I{|Xi(w)|>i}|1ni=1N(w)|Xi(w)|.
Since E(|X1|)<i=1P(|X1|>i)=i=1P(|Xi|>i)E|X1|<, so by Borel-Cantelli Lemma, |Xi|>i isn't infinite often almost surely, that is,|{i|Xi(w)|>i}|< almost surely.
Then we can see that N(w)< as n, so 1ni=1N(w)|Xi(w)|0 and |1ni=1nXi(w)I{|Xi(w)|>i}|0.

综上,我们得到了 i=1nYnn,i=1nZnn0 a.s.,相加即可得到 i=1nXnn0 a.s.,于是强大数定律得证。

Part 3 大数定律的收敛率*

这一章,我们来介绍以下大数定律延伸出的,对 i.i.d 随机变量列前缀和更精细地刻画。

我们先说明,实际上随机变量波动带来的误差部分不需要用 n 来 bound,nlog12+ε 足矣(实际上通过更复杂的分析,可以用 nloglogn 来 bound)。

【定理】对于独立同分布随机变量列 Xn,若有 E|X1|=0Var(X1)=σ2<,那么有 i=1nXinlog12+εn0 a.s.

证明并不困难,我们回顾 Kolmogorov 二级数定理,直接考察 n=1Var(Xnmax(1,nlog12+εn))=σ2(1+n=21nlog1+2εn)<(这里对 1max 为规避第一步除以 0),接下来再应用 Kronecher 引理便得证了。

通过上述证明过程也不难发现,上述刻画的 convergence rate 实际上也就是一个数列求和 convergence rate 的简单推论。

另一个可行的推广方向则是修改大数定律初始条件,将 E|X1|< 改为 E|X1|p<,可以发现我们只需关心 p(0,2)

【定理】Marcinkiewicz-Zygmund 强大数定律:对于独立同分布随机变量列 Xn,若对于某个 p(0,2)E|X1|p<,那么有 {i=1nXinE(X1)n1p0 a.s.1p<2i=1nXin1p0 a.s.0<p<1

我们只需在原本的证明过程中,将对 n 的截断修改为对 n1p 的截断,Zn 可以直接简单用 E|X1|p bound 再用 Borel-Cantelli 收割,Yn 则可以用更一些复杂的代数推导来 bound。

【陆】一些修补的细节。
①如何分析掉 Zn
P(XnYn)=P(|Xn|>n1p)=E|X1|p<,接下来应用 Borel-Cantelli 引理即可(需要留意的是,这里的分析实际上相当粗糙,后文有对其的修补)。
②如何控制方差和?
我们用积分的形式展开 Var(Yn) 并按照 n1p 分段,接下来就可以直接分析了:
Var(Ynn1p)m(m1)1pm1p2yP(|X1|>y)dynm1n2p
(012yP(|X1|>y)dy)+m(m1)1pm1p2p2pyp1P(|X1|>y)dy
(1+2p2p)0yp1P(|X1|>y)dy=p+2p(2p)E|X1|p<
推导时还用到了这一结论:
nmn2pm1x2pdx=p2p(m1)p2pp2pyp2
1p<2 的时候如何收尾?
直接 YnYnE(Yn),然后应用 Kolmogorov 二级数定理和 Kronecher 引理就行。
0<p<1 的时候如何收尾?
问题在于 E(Yn) 的求和收敛性不再明朗,因此我们需要为其专门分析,好在这一问题与原问题没有什么区别——
E(Yn)n1pn1n1pm=1n(m1)1pm1pP(|X1|>y)dy
=m(m1)1pm1pP(|X1|>y)dynm1n1p
(01P(|X1|>y)dy)+m(m1)1pm1pp1pyp1P(|X1|>y)dy
(p1p+1)0yp1P(|X1|>y)dy=1p(1p)E|X1|p<
其中同样用到了以下结论:
nmn1pm1x1pdx=p1p(m1)p1pp1pyp1
接下来我们先变换 YnYnE(Yn) 并应用 Kolmogorov 二级数定理和 Kronecher 引理,再用刚刚证明的结论把 E(Yn) 项修补进来即可。

Part 4 弱大数定律

咕咕咕。

(这里记得补充对三角形随机变量列大数定律的证明)

Part 5 中心极限定理

咕咕咕。

(这里记得补充对分布收敛、特征函数、Lévy continuity theorem 的引入)

让我们直接快进,来证明 Lindeberg-Feller 中心极限定理!

【定理】Lindeberg-Feller 中心极限定理:对于三角形随机变量列 Xn,m(1mn),其中 E(Xn,m)=0 且对于固定的 nXn,m 相互独立。若 Xn,m 满足以下两条性质,我们就有 nm=1nXn,mN(0,σ)

  • m=1nVar(Xn,m)σ2>0
  • 对于所有 ε>0 都有 limnm=1nE(|Xn,m|2|Xn,m|>ε)=0

可以发现这两条性质就是一个照着箭画靶的过程,我们直接给出其证明过程——

(下面证明摘自我的笔记,之后会改成中文)

Lemma 1: |E(eitX)m=0n(itX)mm!|E(min(|tX|n+1,2|tX|n)).

Proof:

By Jensen's inequality, we have |E(eitX)m=0nE((itX)m)m!|E|eitXm=0n(itX)mm!|, and we're going to prove |eixm=0n(ix)mm!|min(|x|n+1(n+1)!,2|x|nn!).

We can use Taylor's formula with remainder of integral:

eix=m=0n(ix)mm!+in+1n!0x(xs)neisds

Then we try to estimate the remainder part.

Since |eis|1, it's not to see that |0x(xs)neisds||x|n+1n+1. So |eixm=0n(ix)mm!||x|n+1(n+1)!.

Then we can see that:

|eixm=0n(ix)mm!||eixm=0n1(ix)mm!|+|(ix)nn!|2|x|nn!

Lemma 2: For z1,z2,,zn,w1,w2,,wn with modulus θ, we have |m=1nzmm=1nwm|θn1m=1n|zmwm|.

Proof:

We prove it by induction. n=1 is obvious, and then:

|m=1nzmm=1nwm||z1m=2nzmz1m=2nwm|+|z1m=2nwmw1m=2nwm|=θ|m=2nzmm=2nwm|+θn1|z1w1|θn1m=1n|zmmm|

Lemma 3: For maxm=1nan,m0,m=1nan,mλ and supnm=1n|an,m|<, we have m=1n(1+an,m)eλ.

Proof:

Just observe that if x0, ln(1+x)x1.

For each ε(0,1), there's δ>0 such that |x|<δ|ln(1+x)x1|<ε, and it means (1ε)xlog(1+x)(1+ε)x.

Then:

m=1nlog(1+an,m)[(1ε)λ,(1+ε)λ]

Let ε0, then m=1nlog(1+an,m)λ, so m=1n(1+an,m)eλ.

Let φn,m(t)=E(eitXn,m),σn,m2=EXn,m2, and our goal is to show the following. (Then apply Lévy continuity theorem)

m=1nφn,m(t)e12t2σ2

Pick ε(0,1):

First let un,m=φn,m(t),vn,m=(112t2σn,m2), then we can see that, according to Lemma 1:

|un,mvn,m|E(min(|tXn,m|3,2|tXn,m|2))E(|tXn,m|3|Xn,m|ε)+E(2|tXn,m|2|Xn,m|>ε)εt3E(|Xn,m|2|Xn,m|ε)+2t2E(|Xn,m|2|Xn,m|>ε)

Then:

m=1n|un,mvn,m|εt3m=1nE(Xn,m|2|Xn,m|ε)+2t2m=1nE(|Xn,m|2|Xn,m|>ε)

Let n, the second part goes to 0, and we can bound the first part by εt3σ2 where σ2=limnm=1nE(Xn,m2)>0.

We try to use Lemma 2, before that we need to find θ to bound |un,m| and |vn,m|. We know |φn,m(t)|1, so we only to bound |vn,m|. And we can see that for ζ>0:

supm=1nσn,m2supm=1nζ2+E(Xn,m2|Xn,m|>ζ)ζ2+m=1nE(Xn,m2|Xn,m|>ζ)

When n, we could derive supm=1nσn,m2ζ2. Then let ζ0 we can get supm=1nσn,m20.

In fact, we only need to pick ζ=1t and then there's N>0 so that for n>N we have supm=1nσn,m22ζ2. So for all 1mn, |12t2σn,m2|12t22ζ2=1, then |vn,m|[0,1]. So we can just set θ=1 if n>N.

Apply Lemma 2, and we get:

limn|m=1nun,mm=1nvn,m|limnθn1m=1n|un,mvn.m|εt3σ2

Let ε0, and the limit goes to 0.

Let an,m=12t2σn,m2, then maxm=1nan,m0 since supm=1nσn,m0. Also, m=1nan,m12t2σ2 and supnm=1n|an,m|< since an,m are all non-positive.

Apply Lemma 3 and we get m=1nvn,m=m=1n(1+an,m)e12t2σ2, which means m=1nun,me12t2σ2. Then according to Lévy continuity theorem, we finish the proof of the whole theorem.

我们对于 i.i.d. 列 Xn,在 Lindeberg-Feller 中心极限定理中代入 Xn,mXnE(Xn)n 即可证明一般的中心极限定理,其两条性质不难验证,于是我们得到:

【定理】中心极限定理:对于独立同分布随机变量列 Xn,若有 E|X1|=μVar(X1)=σ2(0,),那么有 i=1nXinμnN(0,σ)

【柒】对 Lindeberg-Feller 中心极限定理应用条件的检验。
m=1nVar(Xn,m)=Var(XnE(Xn))<
②对于所有 ε>0limnm=1nE(|Xn,m|2|Xn,m|>ε)
=nE(|X1n|2|X1n|>ε)=E(|X1|2|X1|>εn12)
由于 E|X1|2<,根据控制收敛定理(Dominated Convergence Theorem),我们可以直接求出积分内部在 n 时极限为 0,并得出原极限同样为 0


参考资料:

  • 王禹皓老师在《高等应用概率》课上的讲解;
  • Durrett R, Durrett R. Probability: theory and examples[M]. Cambridge university press, 2019.
posted @   xiaoziyao  阅读(191)  评论(3编辑  收藏  举报
相关博文:
阅读排行:
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· AI技术革命,工作效率10个最佳AI工具
点击右上角即可分享
微信分享提示