数学期望

目录

• 数学期望
• 条件期望
• 方差
  • 切比雪夫不等式
• 协方差
  • 协方差矩阵
• 相关系数
  • 柯西-施瓦茨不等式
• 矩

 

数学期望

定义 离散型随机变量 \(\xi\) 有分布列

\[\left[ \begin{matrix} x_1 & x_2 & \cdots & x_k & \cdots\\ p_1 & p_2 & \cdots & p_k & \cdots \end{matrix} \right] \]

如果级数 \(\sum_kx_kp_k\) 绝对收敛，则记

\[E\xi = \sum_kx_kp_k \]

称为 \(\xi\) 的数学期望.

 

定义 连续型随机变量 \(\xi\) 有密度函数 \(p(x)\) ，若 \(\int_{-\infty}^{+\infty}|x|p(x)dx<\infty\) ，则称

\[E\xi = \int_{-\infty}^{+\infty}xp(x)dx \]

为 \(\xi\) 的数学期望.

 

定义 随机变量 \(\xi\) 有分布函数 \(F(x)\) ，若 \(\int_{-\infty}^{+\infty}|x|dF(x)<\infty\) ，则称

\[E\xi = \int_{-\infty}^{+\infty}xdF(x) \]

为 \(\xi\) 的数学期望.

 

设 \(\xi\) 为随机变量， \(\eta = f(\xi)\) ，则

\[E_{\eta} = \int_{-\infty}^{+\infty}f(y)dF_{\xi}(y) \]

当 \(\xi\) 连续时有密度函数 \(p(x)\) ，则

\[E_{\eta} = \int_{-\infty}^{+\infty}f(y)p(y)dy \]

随机变量 \(\xi,\eta\) 独立同分布当且仅当对任意有界连续函数 \(f\) 有 \(Ef(\xi) = Ef(\eta)\) .

 

条件期望

定义 设 \(\xi = x\) 时， \(\eta\) 的条件分布函数为 \(F_{\eta|\xi}(y|x)\) ，则条件期望为

\[E(\eta|\xi=x) = \int_{-\infty}^{+\infty}ydF_{\eta|\xi}(y|x) \]

若有条件分布列 \(p_{\eta|\xi}(y_j|x)\) ，则

\[E(\eta|\xi=x) = \sum_{j}y_jp_{\eta|\xi}(y_j|x) \]

若有条件密度函数 \(p_{\eta|\xi}(y|x)\) ，则

\[E(\eta|\xi=x) = \int_{-\infty}^{+\infty}yp_{\eta|\xi}(y|x)dy \]

显然，若 \(\xi,\eta\) 相互独立，则 \(E(\eta|\xi=x) = E\eta\) .

 

定理 条件期望 \(E(\eta|\xi=x)\) 可看作是 \(x\) 的函数，记为 \(m(x)\) ，则 \(m(\xi)\) 是随机变量，称 \(m(\xi)\) 为已知 \(\xi\) 时 \(\eta\) 的条件期望，记为 \(E(\eta|\xi)\) ，从而条件期望的数学期望有

\[E[E(\eta|\xi)] = E\eta \]

\(Proof.\) 利用期望定义

\[m(x) = E(\eta|\xi=x) = \int_{-\infty}^{+\infty}yp_{\eta|\xi}(y|x)dy = \int_{-\infty}^{+\infty}y\dfrac{p(x,y)}{p_{\xi}(x)}dy \]

则有

\[E[E(\eta|\xi)] = E(m(\xi)) = \int_{-\infty}^{+\infty}m(x)p_{\xi}(x)dx \]

代入即证；直观上， \(E(\eta|\xi)\) 为在给定的 \(\xi\) 下的 \(\eta\) 的期望，它是 \(\xi\) 的函数，再求期望时，实际上是对所有的 \(\xi\) 求 \(\eta\) 的期望.

 

全期望公式 当 \(\xi\) 为离散型随机变量，记 \(p_i=P(\xi=x_i)\) ，则

\[E\eta = \sum_ip_iE(\eta|\xi=x_i) \]

它是上面等式的直接推导.

 

性质

• 加法性质： \(E\xi_1,\cdots,E\xi_n\) 存在，则 \(\forall c_1,\cdots,c_n\) 及 \(b\) ，有

\[E\left(\sum_{i=1}^nc_i\xi_i+b\right) = \sum_{i=1}^nc_iE\xi_i + b \]

• 乘法性质：若 \(\xi_1,\cdots,\xi_n\) 相互独立， \(E\xi_1,\cdots,E\xi_n\) 存在，则

\[E(\xi_1\cdots\xi_n) = E\xi_1\cdots E\xi_n \]

• 有界收敛定理：设 \(\forall\omega\in\Omega\) 有 \(\lim_{n\to\infty}\xi_n(\omega) = \xi(\omega)\) ，且 \(\forall n\ge 1,\ |\xi_n|\le M\) ，则

\[\lim_{n\to\infty}E\xi_n = E\xi \]

• \(E(h(\xi)\eta|\xi) = h(\xi)E(\eta|\xi)\) .
• 柯西-施瓦茨不等式： \(|E(XY|Z)|\le \sqrt{E(X^2|Z)}\cdot \sqrt{E(Y^2|Z)}\) .

 

方差

定义 称 \(\xi-E\xi\) 为 \(\xi\) 关于均值 \(E\xi\) 的离差，若 \(E(\xi-E\xi)^2\) 存在有限，则称其为 \(\xi\) 的方差，记作 \(Var\xi\) 或 \(D\xi\)

\[Var\xi = E(\xi-E\xi)^2 = E\xi^2 - (E\xi)^2 \]

为了统一量纲，有时使用标准差 \(\sqrt{Var\xi}\) .

 

切比雪夫不等式

若方差存在，则 \(\forall \epsilon>0\) ，有

\[P(|\xi-E\xi|\ge\epsilon)\le\dfrac{Var\xi}{\epsilon^2} \]

\(Proof.\) 非常巧妙的放缩法

\[\begin{aligned} P(|\xi-E\xi|\ge\epsilon) &= \int_{|x-E\xi|\ge\epsilon}dF(x)\\ &\le \int_{|x-E\xi|\ge\epsilon}\dfrac{(x-E\xi)^2}{\epsilon^2}dF(x)\\ &\le \int_{-\infty}^{+\infty}\dfrac{(x-E\xi)^2}{\epsilon^2}dF(x)\\ &= \dfrac{1}{\epsilon^2}\int_{-\infty}^{+\infty}(x-E\xi)^2dF(x)\\ &= \dfrac{Var\xi}{\epsilon^2} \end{aligned} \]

切比雪夫不等式说明 \(\xi\) 离均值 \(E\xi\) 的距离，被方差所控制，即 \(\xi\) 落在 \((E\xi-\epsilon,E\xi+\epsilon)\) 的概率大于 \(1-\frac{Var\xi}{\epsilon^2}\) .

 

性质

• \(Var\xi = 0 \Leftrightarrow P(\xi=c)=1\) ；切比雪夫不等式的直接推论.
• \(Var(c\xi+b) = c^2Var\xi\) .
• \(Var\xi \le E(\xi-c)^2\) .
• 加法性质：

\[Var\left(\sum_{i=1}^n\xi_i\right) = \sum_{i=1}^nVar\xi_i + 2 \sum_{1\le i<j\le n} Cov(\xi_i,\xi_j) \]

若 \(\xi_1,\cdots,\xi_n\) 两两独立，则

\[Var\left(\sum_{i=1}^n\xi_i\right) = \sum_{i=1}^nVar\xi_i \]

此时 \(Cov(\xi_i,\xi_j) = 0\) .

 

协方差

定义 设 \(\xi_i,\xi_j\) 有联合分布 \(F_{ij}(x,y)\) ，若 \(E|(\xi_i-E\xi_i)(\xi_j-E\xi_j)|<\infty\) ，称

\[E(\xi_i-E\xi_i)(\xi_j-E\xi_j) = \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}(x-E\xi_i)(y-E\xi_j)dF_{ij}(x,y) \]

为 \(\xi_i,\xi_j\) 的协方差，记作 \(Cov(\xi_i,\xi_j)\) .

 

性质

• \(Cov(\xi,\eta) = Cov(\eta,\xi) = E\xi\eta-E\xi E\eta\)

\[\begin{aligned} E(\xi-E\xi)(\eta-E\eta) &= \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}(x-E\xi)(y-E\eta)dF(x,y)\\ &= \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}(xy-xE\eta-yE\xi+E\xi E\eta)dF(x,y)\\ &= E\xi\eta - 2E\xi E\eta + E\xi E\eta = E\xi\eta - E\xi E\eta \end{aligned} \]

• 加法性质：

\[Cov\left(\sum_{i=1}^n\xi_i,\eta\right) = \sum_{i=1}^nCov(\xi_i,\eta) \]

• \(Cov(a\xi+c,b\xi+d) = abCov(\xi,\eta)\) .
• \(Cov(\xi,\eta) \le \sqrt{Var\xi}\sqrt{Var\eta}\) .
• \(Cov(a\xi+b\eta,c\xi+d\eta) = acCov(\xi,\xi) + (ad+bc)Cov(\xi,\eta) + bdCov(\eta,\eta)\) .

 

协方差矩阵

协方差矩阵的元素是随机向量各分量两两之间的协方差

\[B = E(\xi-E\xi)(\xi-E\xi)^T = \left( \begin{matrix} b_{11} & b_{12} & \cdots & b_{1n}\\ b_{21} & b_{22} & \cdots & b_{2n}\\ \vdots & \vdots & \ddots & \vdots\\ b_{n1} & b_{n2} & \cdots & b_{nn}\\ \end{matrix} \right),\quad b_{ij} = Cov(\xi_i,\xi_j) \]

容易看出 \(B\) 对称半正定.

 

若有变换 \(\eta = C\xi\) ，则有

\[EC(\xi-E\xi)(C(\xi-E\xi))^T = CBC^T \]

为 \(\eta\) 的协方差矩阵.

 

二维随机向量的协方差矩阵

\[C = \left( \begin{matrix} Var\xi & E\xi\eta - E\xi E\eta\\ E\xi\eta - E\xi E\eta & Var\eta \end{matrix} \right) \]

相关系数的计算

\[r_{\xi,\eta} = \dfrac{Cov(\xi,\eta)}{\sqrt{Var\xi Var\eta}} \]

相关系数为 \(0\) 则不相关.

 

相关系数

定义 令 \(\xi^* = (\xi-E\xi)/\sqrt{Var\xi},\ \eta^* = (\eta-E\eta)/\sqrt{Var\eta}\) ，称

\[r_{\xi\eta} = Cov(\xi^*,\eta^*) = E\xi^*E\eta^* \]

为 \(\xi,\eta\) 的相关系数.

 

柯西-施瓦茨不等式

任意随机变量 \(\xi,\eta\) 有

\[|E\xi\eta|^2\le E\xi^2E\eta^2 \]

等式成立当且仅当 \(\exists t_0,\ \mathrm{s.t.}\ P(\eta=t_0\xi) = 1\) .

\(Proof.\) 考虑 \(u(t) = E(\eta-t\xi)^2 = t^2E\xi^2-2tE\xi\eta+E\eta^2\ge 0\) ，分析判别式即可.

 

性质

• \(|r_{\xi\eta}| \le 1\) ，并且当 \(|r_{\xi\eta}| = 1\) ，称 \(\xi,\eta\) 以概率 \(1\) 线性相关；若 \(|r_{\xi\eta}| = 0\) ，称 \(\xi,\eta\) 不相关.
• 若方差有限，则有等价条件
  • \(Cov(\xi,\eta) = 0\)
  • \(\xi,\eta\) 不相关
  • \(E\xi\eta = E\xi E\eta\)
  • \(Var(\xi+\eta) = Var\xi + Var\eta\)
• 若 \(\xi,\eta\) 独立，且它们方差有限，则 \(\xi,\eta\) 不相关.
• 对二元正态随机向量，两个分量不相关与独立等价.

 

矩

方差、协方差本质上都是对随机变量分布分离程度的度量，可以用矩的概念进行推广.

原点矩： \(m_k=E\xi^k\) ，称为 \(k\) 阶原点矩

中心距： \(c_k = E(\xi-E\xi)^k\) ，称为 \(k\) 阶中心矩

绝对矩： \(M_{\alpha} = E|\xi|^{\alpha},\ \alpha\in\mathbb{R}\) ，称为 \(\alpha\) 阶绝对矩