概率论09 期望
描述量
描述随机变量最完备的方法是写出该随机变量的概率分布。然而,正如我们在前面章节看到的,概率分布的表达往往都比较复杂,信息量很大。这如同我们购置汽车的时候,一辆汽车的全面数据可以说是海量的,比如汽车尺寸,油箱大小等等。我们选择一辆汽车时,往往只使用有限的几个具有代表性的量来代表汽车的主要特征,比如排气量,最大马力。我们信赖这几个量, 因为它们可以“粗糙”的描述汽车的主要性能。这些量是汽车全面数据的一个缩影。
类似的,统计学家也设计了这样的投影系统,将全面的概率分布信息量投射到某几个量上,来代表随机变量的主要特征,从而掌握该随机变量的主要“性能”。这样的一些量称为随机变量的描述量(descriptor)。比如期望用于表示分布的中心位置,方差用于表示分布的分散程度等等。这些描述量可以迅速的传递其概率分布的一些主要信息,允许我们在深入研究之前,先对其特征有一个大概了解。
(买西瓜之前,先听听声音,可以对西瓜的成熟度有个了解。)
期望
期望(expectation)是概率分布的一个经典描述量,它有很深的现实根源。在生活中,我们往往对未知事件有一个预期,也就是我们的期望。比如,我们会根据自己的平时成绩,来期望高考分数。现实生活中的期望可以是许多因素的混合,比如历史表现和主观因素。
你的期望是什么?
在概率论中,我们更加定量的对未知结果进行预估。根据概率分布,我们以概率值为权重,加权平均所有可能的取值,来获得了该随机变量的期望(expectation):
如果某个取值概率较大,那么它就在最终结果中占据较大的分量。期望是一个非常简单而直观的概念。期望常用字母μ表示 (μ同样是高斯分布的一个参数,我们将马上看到,为什么同一个字母用在两个地方)。
期望在生活中非常常见,特别在估计收益的时候。比如,买一张彩票的收益为一个随机变量X。该彩票售价为2元,有三位数,每位数可以从0到9中任意选择。每期有一个随机选择的号获奖,奖金1000元。那么,X的分布为:因此,
也就是说,如果买一张彩票,收益的期望为损失1元。
期望是在事件还没确定时,根据概率,对平均结果的估计。如果事件发生,结果并不是期望值。但是,如果重复进行大量实验,其结果的平均值会趋近期望值。需要注意的是,我们将期望写成E(X),这表示的是一个数值,而不是一个随机变量的函数。
基于相似的道理,可以用下面的积分公式,计算连续随机变量的期望:正态分布的期望
即,分布的参数μ就是正态分布的期望!这也是μ常用于表示期望的原因。
回忆正态分布的密度函数曲线x=μ是分布曲线的对称轴。如果将密度函数曲线下的面积看做一个“物品”,那么x=μ是该“物品”的重心所在。比如μ=0,σ=1时,
指数分布的期望
根据指数分布的表达式, 它的期望为:
对于λ=0.2的指数分布,它的期望值为5。
期望的性质
期望有一些很有用的性质:
性质1.
如果Y=g(x)那么当X为离散随即变量,且(该条件保证下面的累加为有限值),则
当X为连续随机变量,且
(该条件保证下面的积分为有限值),则
回忆随机变量的函数。X和Y之间存在对应关系。Y的概率分布,等于对应X的概率分布。因此Y=g(x),根据X概率的加权平均,就是Y的期望。
性质2.
。如果
是离散的,且有分布
,那么当
时,有
如果
是连续的,且有分布
,那么当
时,有
这一性质与上面一个性质类似,只不过换成多变量联合分布的情况。
利用性质1和性质2,我们可以根据原随机变量的分布,计算随机变量函数的期望值。
性质3.
如果X和Y是独立随机变量,而g和h是两个函数,如果 ,
存在,那么有
根据独立随机变量的性质,我们可以将联合分布写成f(x)和f(y)的乘积。结合性质2,即可得出上面的结论。
一个特别的情况是,如果X和Y独立,那(即
的情况)。
性质4.
如果,而
的期望为
,那么
这说明,期望是一个线性运算。随机变量线性组合的期望,等于期望的线性组合。
我们可以假设f(x_i, ..., x_n)的联合分布,并根据性质2来证明性质4。对联合分布的积分,可以得到单随机变量的边缘分布,从而获得单随机变量的期望。
上面四个性质的一个主要功能是,利用已知的期望值,来计算未知的期望值。有些随机变量的期望值比较难以通过定义计算。利用上面的性质,进行合理的变化,更容易计算其期望。
比如,计算二项分布的期望。二项分布是进行n次实验,其中成功的次数Y。每次成功的概率为p。根据定义计算 上面的计算并不容易。另一方面,观察可知,每次试验成功的次数X是伯努利分布,即
二项分布Y可以表示为n个伯努利分布的和,即
所以
条件期望
条件期望将期望用于条件概率。我们已经知道,条件概率是事件B条件下, A的概率,即P(A|B)。条件概率只不过是在一个缩小了的样本空间B上,重新计算A的概率。条件概率的A与B可以是随机变量,比如P(A|B=y),即“随机变量Y等于y”是条件,在该条件下,随机变量X的随机分布。
(在连续随机变量的情况下,我们使用条件密度函数来描述条件分布)
对于一个已知的分布,我们可以求得条件分布的期望。对于离散随机变量: 其中
为该离散随机变量的可能取值。也就是,在一个新的样本空间(Y = y)上,随机变量X的期望值。
对于连续随机变量,其条件期望为: 一个随机变量的期望为一个数值。但一个条件分布的期望,比如E(X|Y=y),会随着随机变量Y的变化而变化。所以,条件期望是随机变量Y的函数。根据随机变量的函数的概念,E(X|Y=y)可以看作一个新的随机变量。我们可以进一步得到这一新的随机变量的期望E(E(X|Y))。