【初等概率论】 05 - 极限定理和正态分布

1. 极限定理

  至现在为止,概率论仿佛还算简单,只是把一些直观的东西用数学语言表达出来而已。当有了实变和泛函的基础后,你会发现概率论只是分析学的一个普通特例,故更丰富的内容还需我们提升之后再去欣赏。概率论中很多极限问题,一度成为其核心课题,它们不仅发掘了更多有趣的结论,更是解释了很多深层的随机现象。极限定理需要很多高级的分析学工具,故这里仅做结论性的介绍,一是体会高级概率论的无穷奥妙,二是为数理统计准备必要的结论。

1.1 大数定律

  我们还是要回答最初的问题:概率究竟什么?我们建立的概率系统与直觉上的概率是否兼容?起初我们就把事件和固定的数值挂钩,就假定了随机事件有一个不变的属性和值。这个值原本就是用来描述随机现象的发生频率,现在可以来验证概率能否描述频率,这对概率论的自洽性非常重要。

1.1.1 弱大数定律

  概率就是事件到实数的映射,一个事件的概率p应当与大量重复试验中事件出现频率μnn接近。那什么是接近?怎么度量这个接近?频率序列是一个无限的随机变量序列,说它接近p,比较直观的定义当然是类似极限的定义,即对任意ε>0,都要有式(1)成立。这个现象被称为伯努利大数定律,它标志着大数定律研究的开始,后续的研究都始于这里。

(1)limnP{|μnnp|<ε}=1

  从随机变量的角度看,频率其实是n个独立伯努利变量的平均值,我们自然想把大数定律推广到独立同分布随机变量的平均值,看它是不是接近分布的期望。甚至更一般地,可以讨论任意随机变量序列ξ1,ξ2,,看它们的平均值是不是接近平均期望(式(2))。

(2)limnP{1nk=1n|ξkEξk|<ε}=1

  对此,切比雪夫证明了:当ξi两两不相关,且方差一致有界时有式(2)成立,它被称为切比雪夫大数定律。证明中首次应用了切比雪夫不等式,从此矩不等式成为研究大数定律的重要手段。该定律有两个简单的变形,一个是独立不同伯努利分布下的泊松大数定律,另一个是只需条件D(ξk)/n20马尔科夫大数定律,这些证明都很简单,请自行完成。

  在独立同分布的场合,辛钦大数定律甚至不要求方差存在,这进一步放宽了大数定律的条件,它在数理统计中非常重要。证明需要用到著名的连续性定理,大概是说如果分布函数收敛于另一个分布函数,则它们的特征函数也收敛于特征函数。论证中还要用到特征函数与分布函数的唯一确定性,特征函数的威力由此可见一斑。

1.1.2 强大数定律

  对于式(1)的定义,应该没有太多的异议和怀疑,但仔细看式(2),有个地方值得我们商讨。式中对某个表达式取了概率,一向严格的你不禁要问:这个概率对应的事件是什么?它的样本空间是什么?两个随机变量能随意地加减吗?运算的意义是什么?这个思考是非常必要的,而且也是对概率论的认识的一次提升,由直观数学向严格的分析数学进行转变。更具体地,我们是要严格定义随机变量序列{ξn}收敛于另一个随机变量ξ

  判断收敛离不开运算和度量,但要使得运算ξnξ有意义,必须是ξn,ξ来自同一个概率空间。这样来看,不等式|ξn(ω)ξ(ω)|<ε就有了确定的意义,它表示满足条件的样本点,且所有这样的样本点可以组成事件(考虑联合分布)。对这样的事件就可以用概率度量,因此我们就有了式(3)随机变量序列收敛的定义,它也叫{ξn}以概率收敛ξ,式(1)就是依概率收敛的例子。

(3)(ε>0),limnP{|ξn(ω)ξ(ω)|<ε}=1

  有了这个严谨的定义之后,我们进一步研究随机变量收敛。随机变量虽然叫“变量”,但它的特性更像是一个“函数”,而函数列的收敛与数列的收敛有一个很大的不同,那就是关于一致收敛。依概率收敛本质上就是一般的“数列收敛”,它只考察单个随机变量ξnξ的接近程度,但并没有考虑在每个样本点的收敛情况以及其一致性。我们希望的自然是在每个样本点都一致收敛,换个说法就是:一致收敛的样本点集的概率为1。这样的收敛性可以表示为式(4),用纯集合的语言一般写作式(5),因此这种收敛也叫以概率1收敛

(4)(ε>0),limkP{n=k|ξn(ω)ξ(ω)|<ε}=1

(5)P{limnξn=ξ}=P{m=1k=1n=k(|ξnξ|<1m)}=1

  不难证明,以概率1收敛是比以概率收敛更强的条件,它真正表示了“处处收敛”。在这样的收敛定义下,把无穷伯努利实验做为样本空间,博雷尔重新讨论了伯努利实验的大数定律,得到了式(6)的强大数定律。这是对频率稳定性的更强证据,在偶然性中发现了必然性,在概率论史上有重要意义。接下来科尔莫戈洛夫对独立同分布的随机变量序列,证明了式(7),还找到了式(7)对独立随机变量序列成立的充分条件:Dξkk2收敛,它们都被称为科尔莫戈洛夫强大数定律

(6)P{limnμnn=p}=1

(7)P{limn1ni=1n(ξiEξi)=0}=1

1.2 中心极限定理

  大数定律集中讨论了随机变量ξ1,ξ2,平均值的收敛情况,现在来进一步研究随机变量之和本身的分布特点。我们知道,要研究分布特点,最好先将方差统一为1,为此我们还得假设随机变量是两两不相关的,从而可以像式(8)那样将其标准化。

(8)ζn=μnnpnpq;ζn=i=1n(ξiEξi)i=1nDξi

  最早由棣莫弗和拉普拉斯分别对p=12p12时的伯努利试验进行讨论,得到了式(9)的棣莫弗-拉普拉斯极限定理。这个结论如此地迷人,对它的研究长达两个世纪,故也称中心极限定理。后来Lindeberg使用连续定理,证明了式(9)在独立同分布场合也成立,这个结论对数理统计非常重要。

(9)limnP{ζn<x}=12πxet22dt

  中心极限定理还有其它更弱的成立条件,但都很复杂,这里暂且不谈。式(9)中的分布称为正态分布,它是另一个非常普遍的“原子分布”,当一个随机变量受很多因素的影响,但每个因素的影响又不大时,这个随机变量往往就服从正态分布。

2. 正态分布

  在中心极限定理中,我们才迟迟地提到正态分布,主要是缺少它并不影响对初等概率的讨论。但正态分布又的确是非常常见和重要的分布,这里对它在做一些扩展讨论,顺便也是对基础概念的一次复习。

2.1 一元正态分布

  正态分布主要用于描述误差分布,即随机变量的概率以某个值为中心向两边递减,并且是足够光滑的。但这样的性质太过平凡,为什么一定要是正太分布呢?我们需要其它的条件来得到更多的细节。既然描述的是误差,这个分布应该有这样一个性质:对任意的多次测量结果x1,x2,,xn,均值x¯总是最好的接近。这里的“任意”既表示xi可以为所有可能值,也表示对所有正整数n都成立。这个条件虽然合理,但看起来非常苛刻,下面就来尝试一下,看满足条件的分布是否存在。

  另一方面,“最好的接近”需要用数学语言描述出来,设分布的密度函数是p(x),则式(10)左的似然函数应该在x¯处取到最大值。关于似然函数,以后再数理统计中再详细介绍,这里单拎出这个式子也不违反直观。下面为了简化计算,用lnL(x)来代替讨论,也就是说式(10)右成立,整理后有式(11)。提醒一下,式(11)应该对任意xin都成立。

(10)L(x)=i=1np(xix)[lnL(x)]|x=x¯=0

(11)g(x)=p(x)p(x)i=1ng(xix¯)=0

  当n=1时,只能得到p(0)=0n=2时也只能得到g(x)的对称性,结论都太过平凡。当n=3时,由于x1x¯,x2x¯的任意性,可以得到恒等式(12)左,进而得到式(12)右。注意,当n>3时,也是得到类似式(12)左的表达式,因此g(x)存在且只有形式ax。继续还原,容易得到式(13),由密度函数的积分可求出K,最终得到的便是一元正态分布。注意它的中心为0,故式(10)对中心非零的正态分布不成立,这是由于式(10)的性质就是针对误差的。

(12)g(x)+g(y)=g(x+y)g(x)=ax

(13)lnp(x)=a2x2+bp(x)=Kea2x2

  如果把中心也考虑在内,式(14)就是一般的正态分布,简记为N(μ,σ2)。容易验证,μ是它的数学期望,而σ2是它的方差,正态分布的图像如下。特别地,N(0,1)称为标准正态分布,其对应的密度函数和分布函数如式(15)。

(14)p(x)=12πσe(xμ)22σ2

(15)φ(x)=12πex22;Φ(x)=xφ(y)dy

  

  式(16)验证了N(0,1)的规范性,这个证明思想可用于计算式(13)中的K。可以求得正态分布的特征函数是式(17),当μ=0时,易知正态分布关于σ2具有再生性,即如果ξiN(0,σi2),则有ξ1+ξ2N(0,σ12+σ22)

(16)(+φ(x)dx)2=12π++ex2+y22dxdy=12π002πrdrdφ=1

(17)fξ(t)=eiμt12σ2t2

2.2 多元正态分布

  以上一元正态分布仅受一个维度因素的影响,现在假设某个随机变量受n个维度的影响,简单起见,设每个维度都是独立的随机变量ηiN(0,1)。可知,随机向量η=(η1,,ηn)的密度为式(18)。函数这样的多元正态分布是平凡的,但对它进行简单的线性变换,便得到一般的多元正态分布,这里的顺序与教材相反。

(18)p(y)=1(2π)n2e12y2

  现实中的观察角度往往是ηi的线性组合(式(19)),由特征数的再生性可知ξN(0,ai2),即每个线性角度看都是正态分布。假设取n的个线性无关的ξj,且有ξ=ηA,由线性变换的结论可知有式(20)。如果记矩阵Σ=ATA,并加入中心μ,便得到一般多元正态分布的表达式(21)。

(19)ξ=i=1naiηifξ(t)=i=1ne12ai2t2

(20)p(x)=1(2π)n2|A|exp{12x(ATA)1xT}

(21)p(x)=1(2π)n2|Σ|12exp{12(xμ)Σ1(xμ)T}

  式(22)计算了ξi,ξj的协方差,不难发现,它正是Σ[i,j],为此Dξ=Σ={σij}也称为协方差矩阵。由式(23)可知协方差矩阵为正定的(随机变量线性相关才取0),反之对任意的正定对称矩阵Σ,由线性代数的知识,可将分布(21)转化为标准式(18)。这就说明,可以对任意正定对称矩阵Σ,定义式(22)为多元正态分布,记作N(μ,Σ)

(22)σij=E(ξiξj)=E(kaikξkkajkξk)=kaikajk

(23)i,jσijtitj=E[i=1nti(ξiEξi)]20

  同样利用线性变换,也能求得多元正态分布的特征函数(24),它和多元正态分布互相确定。把中心设为0后,利用特征函数可以得到更多有用的结论。比如任意子空间ξ=(ξ1,,ξm)的分布都是正态分布,协方差矩阵正好取对应子矩阵,特别地,边界分布ξi是正态分布N(μi,Σ[i,i])

(24)f(t)=exp{iμtT12tΣtT}

  多元正态分布的线性本质将独立性和不相关性统一了起来,因为对于互不相关的正态变量,协方差矩阵为对角矩阵,由特征函数的形式特点知变量是相互独立的。一般地还有,对随机正态分布ξ=(ξ1,ξ2)ξ1,ξ2相互独立的充要条件是:对应的对应的协方差矩阵Σ12=0。更本质地,从式(22)可以看出,正态变量独立的充要条件是:对应线性系数(式(19))正交。

  对于正态向量ξ1,ξ2,由上面的讨论和简单的矩阵运算,可将变换为互相独立的向量ζ1,ζ2。当ξ1确定时,由独立性知ζ2的条件分布不变,仍然是N(0,Σ22Σ21Σ111Σ12)(通过式(25)计算)。再根据式(25)知ξ2的条件概率是ζ2的一个偏移,加上中心后便得到条件概率ξ2|ξ1(式(26))。特别地,对二元正态分布有式(27),注意Σ12=ρσ1σ2

(25)ζ1=ξ1;ζ2=ξ1Σ111Σ12+ξ2

(26)ξ2|ξ1N(μ2+(ξ1μ1)Σ111Σ12,Σ22Σ12Σ111Σ21)

(27)ξ2|ξ1N(μ2+ρσ2σ1(xμ1),σ22(1ρ2))


全篇完

posted on   卞爱华  阅读(2058)  评论(0编辑  收藏  举报

导航

点击右上角即可分享
微信分享提示