概率论02
作者:桂。
时间:2018-06-27 06:22:47
链接:https://www.cnblogs.com/xingshansi/p/9232042.html
接上文:概率论01
以下推理的基础是:切比雪夫不等式,且都要符合独立同分布。 而切比雪夫不等式的前提是:不同变量具有独立的分布即可。
第五章
1- 大数定律(Law of Large Numbers,LLN)
1)随机变量X1,X2,....相互独立
2)服从同一分布
3)数学期望E(Xk) = mu,k = 1,2,...
则有:
证明:
借助切比雪夫不等式:
P{|x-mu| >= epsilon} <= sigma^2/epsilon^2
假设方差存在,求解方差sigma^2:
【同一分布 + 独立性,才有该性质】
得出:
n->∞,夹逼准则:
大数定律:1)独立同分布;2)具有均值mu,在1)2)条件满足的情况下,随机变量样本数n很大时,他们的算术平均值非常接近期望【依概率收敛】。 大数定律理论上证明了该常识。
2- 伯努利大数定律(Bernoulli’s Law of Large Numbers)
对于n重伯努利试验,事件A的频率依概率收敛于其概率。 伯努利大数定律为
该问题针对的是n重伯努利试验
证明:
可知mu = np,又fA是事件A发生的次数
fA = X1 + X2 +...
则fA/n = ,期望为p,借助大数定律:
3- 中心极限定理(The Central Limit Theorem (CLT))
中心极限定理:客观实际通常是大量的相互独立的随机因素的综合影响,其中每一个别因素在总的影响中所起的作用都是微小的,这种随机变量往往近似服从正态分布,这种现象就是中心极限定理的客观背景。
3.1- 中心极限定理
1)独立同分布;2)均值、方差存在,则对于:
其分布函数为正态分布:
证明:
借助特征函数【见最后附录】
利用特征函数的三个基本性质【3个特性易证,细节略】
1)若n阶矩存在,
2)X = X1 +X2+X3+... Xi满足独立同分布,则特征函数 phei(X) = phei(∑Xi) = phei(X1)phei(X2)phei(X3)...
3)分布函数可由特征函数唯一确定【即傅里叶变换,时域、频域存在一一对应关系,特征函数为傅里叶变换的共轭】
定义:
以上性质由特征函数1)2)特性求得。
两边取对数,令,根据洛必达法则【洛必达法则证明可由:拉格朗日中值定理或柯西中值定理证明】
又exp(-t^2/2)对应标准正态分布,根据特征函数3),得证。
特征函数与矩、分布函数,都可以建立联系,这方面的运算都可以借助特征函数。
理论细节可参考附件1。
3.2- 李雅普诺夫(Lyapunov)定理
基本没用到过,略。
该定理不要求具有同分布特性,即方差满足给定约束,大数(n很大)仍然服从正态分布。
3.3- 棣莫弗-拉普拉斯定理(De Moivre-Laplace)
该定理是3.1中心极限定理的特例,此处mu = np, D = sigma^2 = np(1-p),带入即可。该定理证明了大数情况下,二项分布与正态分布的关系。
附录:
特征函数定义:
最开始是母函数,主要为了方便N阶矩的计算而引入:
对于t = 0,有
但母函数可能不存在,如引入特征函数,易证特征函数一定存在。特征函数:
,可以看出这是傅里叶变换的共轭。
对于性质2,可结合二维傅里叶变换来理解:
F(u,v) = 积分1 积分2 f(x,y)exp(-i[xu + yv]) dxdy对于独立的情况 = F(u)*F(v),多维变量依次类推。
另外,对于正态分布,特征函数为:
性质:
原始表达式为:
可借助常微分方程求解,细节略。
有了MATHMATICA这个工具,像这样的微分,可以借助工具完成:
支持指令输入:
也可直接编辑公式:
可见特征函数存在的前提是方差>0。