Tips on Probability Theory
1、独立与不相关
随机变量X和Y相互独立,有:E(XY) = E(X)E(Y)。
独立一定不相关,不相关不一定独立(高斯过程里二者等价) 。对于均值为零的高斯随机变量,“独立”和“不相关”等价的。
独立性是指两个变量的发生概率一点关系没有,而相关性通常是指线性关系。如果两个变量不相关,指的是线性关系里不相关,但是不能说它们没有关系,可能是线性以外的其他关系。
2、中心极限定理和强、弱大数定律
中心极限定理和强、弱大数定律是概率论的核心,历史悠久(不晚于1733年)。
大数定律讲的是样本均值收敛到总体均值(就是期望)。即如果统计数据足够大,那么事物出现的频率就能无限接近他的期望值。
小数定律是说,如果统计数据很少,那么事件就表现为各种极端情况,而这些情况都是偶然事件,跟它的期望值一点关系都没有。
中心极限定理告诉我们:大量独立同分布随机变量之和满足高斯分布,即当样本量足够大时,样本均值的分布慢慢变成正态分布。
即样本的平均值约等于总体的平均值。不管总体是什么分布,任意一个总体的样本平均值都会围绕在总体的整体平均值周围,并且呈正态分布。
中心极限定理有很多版本,最常见的版本要求(或假设)所有样本独立同分布,且他们共同服从的分布存在前两阶原点矩。
大数定律成立的条件比中心极限定理宽松,前者只需要一阶矩存在,而后者需要前两阶矩都存在。大数定律成立的条件比中心极限定理宽松,前者只需要一阶矩存在,而后者需要前两阶矩都存在。因为条件更强,中心极限定理的结论也更强,大数定律只是证明几乎处处收敛,却没有指明收敛的速度,而中心极限定理给出了收敛的极限分布和渐近方差。