迭代期望定律

转自：https://www.jianshu.com/p/e26d340b9c63

1.条件期望

1.1期望

离散随机变量期望

连续随机变量期望

对比平均值和期望

平时常见的多是平均数的概念，平均数和期望两者既有联系也有区别，也容易弄混。

平均数是统计学概念，主体是特征样本。
期望是概率论概念，主体是随机变量。
平均数和期望可以通过大数定理联系起来：

掷骰子

用掷单个骰子的过程来展示大数定律，同时说明平均数（均值）和期望。随着投掷次数的增加，所有结果的均值趋于3.5（骰子点数的期望值）。不同时候做的这个实验会在投掷次数较小的时候（左部）会表现出不同的形状，当次数变得很大（右部）的时候，它们将会非常相似。

简而言之：

概率是频率随样本数趋于无穷的极限
期望是均值（平均数）随样本数趋于无穷的极限

1.2条件期望

条件期望

EX是对所有ω∈Ω，X(ω)取值全体的加权平均
E(X|Y=y)是局限在ω∈{ω:Y(ω)=y}时，X(ω)取值局部的加权平均
对于局部理解：按照Y的不同取值，整个样本空间Ω被划分为n个互不相容的事件（Ω=∑B(j)）。因此E(X|Y=y)是在某一个{B(j)，j∈N}上X(ω)的局部加权平均。
引用：左超-条件数学期望

对比EX、E(X|Y)、E(X|Y=y)

EX是一个数值
E(X|Y)是一个关于Y的函数，没有固定的y值，是一个随机变量
E(X|Y=y)随着y的取值不同而不同, 但是只要y确定, 一定是个定值
Before we observe Y,we don't know the value of E(X|Y=y) so it is a random varible which we denote E(X|Y).因此(X|Y)是随机变量Y的函数，事实上，它只是局部平均{E(X|Y=y(j)),j∈N}的统一表达式。

引入E(X|Y)

显然E(X|Y=y(1)),E(X|Y=y(2)),....，依赖于Y=y(j),即依赖于全局样本空间的划分。这样，从样本空间Ω及对ω∈Ω可以变化的观点看，有必要引进一个新的随机变量，记为E(X|Y)。对于这个随机变量E(X|Y)，当Y=y时它的取值为E(X|Y=y)，称随机变量E(X|Y)为随机变量X关于随机变量Y的条件数学期望。
引用：左超-条件数学期望