[概率论与数理统计]笔记：2.2 随机变量的数字特征

2.2 随机变量的数字特征

离散型随机变量的数学期望

设离散型随机变量$X$的可能值为$x_i(i=1,2,\cdots )$，其概率分布为

$$P\{X=x_i\}=p_i,i=1,2,\cdots ,$$

若$\sum _{i=1}^{\mathrm{\infty }}{x}_i{p}_i$绝对收敛，则记$E(X)=\sum _{i=1}^{\mathrm{\infty }}{x}_i{p}_i$为随机变量$X$的数学期望。

连续型随机变量的数学期望

推导过程

设$X$是连续型随机变量，密度函数为$f(x)$.

根据密度函数的特点，有：

$$P\{x_i<X<x_{i+1}\}\approx f(x_i)\mathrm{\Delta }{x}_i$$

其中，$\mathrm{\Delta }{x}_i=x_{i+1}-x_i$趋向于$0$.

因而，概率分布为：

$x_i$	$x_0$	$x_1$	$\cdots$	$x_n$
$p_i$	$f(x_0)\mathrm{\Delta }{x}_0$	$f(x_1)\mathrm{\Delta }{x}_1$	$\cdots$	$f(x_n)\mathrm{\Delta }{x}_n$

将其视为$X$的离散近似，而离散型随机变量的数学期望为：

$$\sum _{i=0}^n{x}_{i}f(x_i)\mathrm{\Delta }{x}_i$$

当$\mathrm{\Delta }{x}_i\to 0$时，根据定积分的定义，上述和式以定积分：

$${\int }_a^{b}xf(x)dx$$

为极限（如果积分存在），于是该定积分的值便是连续型随机变量$X$的数学期望。

定义

若$X$为连续型随机变量，$f(x)$为其密度函数，如果广义积分：

$${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}xf(x)dx$$

绝对收敛，则称$E(X)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}xf(x)dx$为随机变量$X$的数学期望。

随机变量函数的数学期望

一元函数

设$X$为随机变量，$Y=g(X)$是随机变量函数.

	$E(X)$	$E(Y)$
离散	$\sum _i{x}_i{p}_i$	$\sum _{i}g(x_i)p_i$
连续	${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}xf(x)dx$	${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}g(x)f(x)dx$

为什么连续型随机变量函数的数学期望只将$x$改为$g(x)$，而$f(x)$不用改？

解析：数学期望可以简单概括为$(\mathrm{变}\mathrm{量}\mathrm{的}\mathrm{值}\times \mathrm{概}\mathrm{率})$的和式，根据上文中连续型随机变量的数学期望的推导过程，$f(x)$属于概率的部分，而随机变量函数其实只改变了变量的值这一部分，所以只将式子前面的$x$改为$g(x)$.

二元函数

设$X,Y$为随机变量，$Z=g(X,Y)$是二元随机变量函数。

离散

$$E(Z)=\sum _i\sum _{j}g(x_i,y_j)p_{ij}$$

举例：

$X\mathrm{\setminus }Y$	0	1	2
1	0.1	0.1	0.2
2	0.2	0.2	0.2

设$Z=X-Y$，则：

$$\begin{array}{rl}E(Z)=& (1-0)\times 0.1+(1-1)\times 0.1+(1-2)\times 0.2\\ & (2-0)\times 0.2+(2-1)\times 0.2+(2-2)\times 0.2\\ =& 0.5\end{array}$$

连续

二元连续型随机变量函数的数学期望需要计算二重积分：

$$E(Z)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}g(x,y)f(x,y)\mathrm{d}x\mathrm{d}y$$

数学期望的性质

1. $E(C)=C$，其中$C$为常数.
2. $E(kX+b)=k\cdot E(X)+b$.
3. $E(X\pm Y)=E(X)\pm E(Y)$.
4. $E(\sum _i{C}_i{X}_i)=\sum _i{C}_{i}E(X_i)$
5. $E(\frac{1}{n}\sum _i{X}_i)=\frac{1}{n}\sum _{i}E(X_i)$
6. 若$X,Y$独立，有$E(XY)=E(X)\cdot E(Y)$

条件期望

定义

一个变量取了某值之后，另一变量的数学期望。

离散：

• $E(X|Y=y_j)=\sum _i{x}_{i}P(X=x_i|Y=y_j)$
• $E(Y|X=x_i)=\sum _j{y}_{j}P(Y=y_j|X=x_i)$

连续：

• $E(X|Y=y)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}xf(x|y)dx$（计算结果带有$y$）
• $E(Y|X=x)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}yf(y|x)dy$（计算结果带有$x$）

随机变量的方差

方差的定义

方差描述了一组数据的偏离程度，计算每个值与平均值的距离$\frac{1}{n}\sum |x_i-\bar{x}|$，使用绝对值是为了描述偏离的距离(非负值)，但是绝对值的计算是复杂的，使用平方会更简便：$\frac{1}{n}\sum (x_i-\bar{x}{)}^2$.

随机变量的方差

• 离差：$X-EX$

• 方差：$D(X)=E(X-EX{)}^2$

• 标准差：$\sqrt{DX}$

$X$是随机变量，离差$X-EX$也是一个随机变量，为了消除正负符号影响并且考虑计算方便，使用$(X-EX{)}^2$来衡量$X$对$EX$的偏离，从而方差$D(X)=E(X-EX{)}^2$即为$X$对$EX$的平均偏离。

计算

离散型：

$$DX=E(X-EX{)}^2=\sum _i(x_i-EX{)}^2{p}_i$$

连续型：

$$DX=E(X-EX{)}^2={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}(x-EX{)}^{2}f(x)dx$$

常用计算公式：

$$DX=E(E-EX{)}^2=E{X}^2-(EX{)}^2$$

证明：

$$\begin{array}{rl}E(X-EX{)}^2& =E[X^2-2X\cdot EX+(EX{)}^2]\\ & =E{X}^2-2EX\cdot EX+(EX{)}^2(\ast )\\ & =E{X}^2-(EX{)}^2\end{array}$$

步骤$(\ast )$使用了数学期望的性质，这里将$X$视为变量，将$EX$视为常数，直接提出。

性质

• $D(a)=0$

$$D(a)=E(a^2)-(Ea{)}^2=a^2-a^2=0$$

• $D(X+a)=DX$

$$\begin{array}{rl}D(X+a)& =E(X+a-E(X+a){)}^2\\ & =E(X+a-EX-a{)}^2\\ & =E(X-EX{)}^2\\ & =DX\end{array}$$

• $D(aX)=a^{2}DX$

$$\begin{array}{rl}D(aX)& =E(aX-E(aX){)}^2\\ & =E(aX-aEX{)}^2\\ & =E[a^2(X-EX{)}^2]\\ & =a^{2}E(X-EX{)}^2\\ & =a^{2}DX\end{array}$$

• $D(kX+b)=k^{2}DX$

结合上面两个性质即可证明.

• 若$X,Y$独立，有$D(X\pm Y)=DX+DY$

这个性质有两点要注意：

1. 在数学期望的性质中有类似的性质：$E(X\pm Y)=EX\pm EY$是在任何时候都成立，而方差的性质需要前提条件：$X,Y$独立
2. 数学期望的性质的数学符号是$\pm$拆开来也是$\pm$，但是方差的性质的符号，内部是$\pm$，分开后的符号都是$+$.

证明：

$$D(X\pm Y)=E(X\pm Y-E(X\pm Y){)}^2=E(X\pm Y-EX\mp EY{)}^2$$

这一步主要在于将$E(X\pm Y)$拆分，注意符号变化$\pm \to \mp$.

$$\mathrm{上}\mathrm{式}=E((X-EX)\pm (Y-EY){)}^2$$

这一步的关键在于将上一步中的$\pm Y\mp EY$合并成$\pm (Y-EY)$，这里虽然有两个正负号，但是并不是有4种情况（$++,+-,-+,--$）。

事实上，从源头$D(X\pm Y)$看来，只有两种情况，再沿着计算步骤算下来，也只有两种情况：

• $+Y-EY$
• $-Y+EY$

所以可以合并为$\pm (Y-EY)$.

$$\mathrm{上}\mathrm{式}=E[(X-EX{)}^2\pm 2(X-EX)(Y-EY)+(Y-EY{)}^2]$$

这一步就是简单的二项式展开。

$$\begin{array}{rl}\mathrm{上}\mathrm{式}& =E(X-EX{)}^2+E(Y-EY{)}^2\pm 2E[(X-EX)(Y-EY)]\\ & =DX+DY\pm 2E[(X-EX)(Y-EY)]\end{array}$$

利用数学期望的性质展开。

显然，接下来只需要证明$E[(X-EX)(Y-EY)]=0$。

此时，因为前提条件为$X,Y$独立，根据数学期望的性质有：$E(XY)=EX\cdot EY$

$$\begin{array}{rl}E[(X-EX)(Y-EY)]& =E(XY-X\cdot EY-Y\cdot EX+EX\cdot EY)\\ & =E(XY)-EX\cdot EY-EX\cdot EY+EX\cdot EY\\ & =EX\cdot EY-EX\cdot EY-EX\cdot EY+EX\cdot EY\\ & =0\end{array}$$

综上，当$X,Y$独立时，有$D(X\pm Y)=DX+DY$.

• $DX=0\iff P\{X=EX\}=1$

标准化随机变量

定义

标准化随机变量(standardized random variable)是指经过处理，从而具有一些较好性质的随机变量。设$X$为随机变量，称$X^{\ast }=\frac{X-EX}{\sqrt{DX}}$为标准化随机变量。

性质

• 数学期望为0.

$$E{X}^{\ast }=E(\frac{X-EX}{\sqrt{DX}})=\frac{1}{\sqrt{DX}}(EX-EX)=0$$

• 方差为1.

$$D{X}^{\ast }=D(\frac{1}{\sqrt{DX}(X-EX)})=\frac{1}{DX}D(X-EX)=\frac{1}{DX}DX=1$$

$EX,DX$视为常数.

随机变量的矩

原点矩

定义

$X$为随机变量，$k$为正整数，如果$E{X}^k$存在（即绝对收敛），则称$E{X}^k$为$X$的$k$阶原点矩，称$E|X{|}^k$为$X$的$k$阶绝对矩。

• 标准化后的三阶矩：$S=E(\frac{X-EX}{\sqrt{DX}}{)}^3$称为$X$的分布的偏度（skewness），用来比较不同分布的非对称程度。
• 标准化后的四阶矩：$K=E(\frac{X-EX}{\sqrt{DX}}{)}^4$称为$X$的分布的峰度(kurtosis)，用来比较分布的扁平程度。

计算

• 离散：$\sum x_i^k{p}_i$
• 连续：${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{x}^{k}f(x)dx$

定理

若随机变量$X$的 $t$ 阶矩存在，则其 $s$ 阶矩也存在。( $s<t$ 为正整数 )

推论

设$k$为正整数，$C$为常数，如果$E{X}^k$存在，则$E(X+C{)}^k$存在，$E(X-EX{)}^k$存在.

中心矩

定义

$X$为随机变量，$k$为正整数，如果$E{X}^k$存在，则称$E(X-EX{)}^k$为$X$的$k$阶中心距，称$E|X-EX{|}^k$为$X$的$k$阶绝对中心距。

• 数学期望是$X$的一阶原点矩。
• 方差是$X$的二阶中心矩。

如果$E{X}^2<\mathrm{\infty }$，则$X$的数学期望和方差都存在。

计算

• 离散：$\sum (x_i-EX{)}^k{p}_i$
• 连续：${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}(x-EX{)}^{k}f(x)dx$

与矩相关的不等式

定理

设$h(x)$是$x$的一个非负函数，$X$是一个随机变量，且$Eh(X)$存在，则对任意$\epsilon >0$，有

$$P\{h(X)\ge \epsilon \}\le \frac{Eh(x)}{\epsilon }$$

推论

推论1（马尔可夫不等式）设$X$的$k$阶矩存在（$k$为正整数），即$E|X{|}^k<\mathrm{\infty }$，则对任意$\epsilon >0$有

$$P\{|X|\ge \epsilon \}\le \frac{E|X{|}^k}{{\epsilon }^k}$$

推论2（切比雪夫不等式）设$X$的方差存在，则对任意$\epsilon >0$有

$$P\{|X-EX|\ge \epsilon \}\le \frac{DX}{{\epsilon }^2}$$

推论3 随机变量$X$的方差为0当且仅当存在一个常数$a$，使得$P\{X=a\}=1$，且该常数$a=EX$.

使用教材：
《概率论与数理统计》第四版 中国人民大学 龙永红 主编 高等教育出版社