概率论笔记（4）

第四章 随机变量的数字特征

第一节 数学期望

数学期望的定义

离散型随机变量的数学期望：
设离散型随机变量$X$的分布律为$P\left \{ X=x_{k} \right \}p_{k}, k=1,2,...$，若级数
$\sum_{k=1}^{\infty}x_{k}p_{k}$
绝对收敛，则称该级数的和为随机变量$X$的数学期望，记为$E(X)$，即
$E(X)=\sum_{k=1}^{\infty}x_{k}p_{k}$

连续型随机变量的数学期望：
设连续型随机变量$X$的概率密度为$f(x)$，若积分
$\int_{-\infty}^{+\infty}xf(x)dx$
绝对收敛，则称该积分的值为随机变量$X$的数学期望，记为$E(X)$，即
$E(X)=\int_{-\infty}^{+\infty}xf(x)dx$

随机变量函数的数学期望

定理：
设$Y$是随机变量$X$的函数$P\left \{ X=x_{i},Y=y_{i} \right \}=p_{ij}(i,j = 1,2,...)$（$g$是连续函数）

• $X$是离散型随机变量：
  分布律为$P\left \{ X=x_{i} \right \}=p_{k},k=1,2,...$
  若$\sum_{k=1}^{\infty}g(x_{k})p_{k}$绝对收敛，则有
  $E(Y)=E[g(X)]=\sum_{k=1}^{\infty}g(x_{k})p_{k}$
• $X$是连续型随机变量：
  概率密度为$f(x)$
  若$\int_{-\infty}^{+\infty}g(x)f(x)dx$绝对收敛，则有
  $E(Y)=E[g(X)]=\int_{-\infty}^{+\infty}g(x)f(x)dx$

推广到二维随机变量的定理：

• $(X,Y)$是二维离散型随机变量：
  分布律为$P\left \{ X=x_{i},Y=y_{i} \right \}=p_{ij}(i,j=1,2,...)$
  若$\sum_{i}\sum_{j}g(x_{i},y_{i})p_{ij}$绝对收敛，则有
  $E(Z)=E[g(X,Y)]=\sum_{i}\sum_{j}g(x_{i},y_{i})p_{ij}$
• $(X,Y)$是二维连续型随机变量：
  概率密度为$f(x,y)$
  若$\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)\cdot f(x,y)dxdy$绝对收敛，则有
  $E(Z)=E[g(X,Y)]=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)\cdot f(x,y)dxdy$

数学期望的性质

设随机变量$X,Y$的数学期望$E(X),E(Y)$存在，则

1. $E(c)=c$其中$c$是常数
2. $E(cX)=cE(X)$
3. $E(X+Y)=E(X)+E(Y)$
4. 若$X,Y$是相互独立的，则有$E(XY)=E(X)E(Y)$

常用分布的数学期望

0-1分布：$E(X)=p$
二项分布：$E(X)=np$
泊松分布：$E(X)=\lambda$
均匀分布：$E(X)=\frac{a+b}{2}$
指数分布：$E(X)=\frac{1}{\lambda }$
正态分布：$E(X)=\mu$

第二节 方差

方差的定义

定义：
设$X$是一个随机变量，若
$E[X-E(X)]^{2}$存在，
则称$E[X-E(X)]^{2}$为$X$的方差，记为$D(X)$，即
$D(X)=E[X-E(X)]^{2}$
称$\sqrt{D(X)}$为随机变量$X$的标准差或均方差，记为$\sigma (X)$
（方差是随机变量$X$的函数$g(X)=[X-E(X)]^{2}$的数学期望）

计算方差的简便公式：$D(X)=E(X^{2})-[E(X)]^{2}$
（能看出随机变量$X$和其自身不相互独立）

方差的性质

定理：
设随机变量$X$与$Y$的方差存在，则

1. 设$c$为常数，则$D(c)=0$
2. 设$c$为常数，则$D(cX)=c^{2}D(X)$
3. $D(X\pm Y)=D(X)+D(Y)\pm 2E[(X-E(X))(Y-E(Y))]$
4. 若$X,Y$相互独立，则$D(X\pm Y)=D(X)+D(Y)$
5. 对任意的常数$c\neq E(X)$，有$D(X)<E[(X-c)^{2}]$

常用分布的方差

1. (0-1)分布：$D(X)=p(1-p)$
2. 二项分布：$D(X)=np(1-p)$
3. 泊松分布：$D(X)=\lambda$
4. 均匀分布：$D(X)=\frac{(b-a)^{2}}{12}$
5. 指数分布：$D(X)=\frac{1}{\lambda ^{2}}$
6. 正态分布：$D(X)=\sigma ^{2}$

重要结论：
$\mu$和$\sigma$分别是正太分布的数学期望和均方差，根据这一性质有：
$c_{1}X_{1}+c_{2}X_{2}+...+c_{n}X_{n}\sim N(\sum_{i=1}^{n}c_{i}\mu _{i},\sum_{i=1}^{n}c_{i}^{2}\sigma _{i}^{2})$
（$X_{1},X{2},...,X_{n}$相互独立）

第三节 协方差与相关系数

协方差：

• 定义：$cov(X,Y)=E\left \{ [X-E(x)][Y-E(Y)] \right \}$
  （称$cov(X,Y)$为二维随机变量$X,Y$的协方差）
• 计算式：$cov(X,Y)=E(XY)-E(X)E(Y)$
  离散型：$cov(X,Y)=\sum_{i}\sum_{j}[x_{i}-E(X)][y_{i}-E(Y)]p_{ij}$
  连续型：$cov(X,Y)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}[x-E(X)][y-E(Y)]f(x,y)dxdy$
• 性质：
   1）：若X与Y独立，则$cov(X,Y)=0$
   2）：$cov(X,Y)=cov(Y,X)$
   3）：$cov(aX,bY)=abcov(X,Y)$
   4）：$cov(X_{1}+X_{2},Y)=cov(X_{1},Y)+cov(X_{2},Y)$

相关系数：

• 定义：$\rho _{XY}=\frac{cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$
  （称$\rho _{XY}$为二维随机变量$X,Y$的相关系数或标准协方差）
• 意义：$\rho _{XY}=\frac{cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=\frac{E\left \{ [X-E(x)][Y-E(Y)] \right \}}{\sqrt{D(X)}\sqrt{D(Y)}}=E\left \{ \frac{[X-E(x)]}{\sqrt{D(X)}}\frac{[Y-E(Y)]}{\sqrt{D(Y)}} \right \}=E(X^{*}Y^{*})$
  其中$X^{*}$和$Y^{*}$分别是$X$和$Y$的标准化随机变量，它们均是期望为0方差为1的随机变量，所以也有
  $cov(X^{*},Y^{*})=\rho _{X^{*}Y^{*}}=E(X^{*}Y^{*})$
• 定理：（具体推导思路是利用最小二乘法）
  设$D(X)>0,D(Y)>0$，$\rho _{XY}$为$(X,Y)$的相关系数，则
   1）：若$X,Y$相互独立，则$\rho _{XY}=0$
   2）：$\left | \rho _{XY} \right |\leq 1$
   3）：$\left | \rho _{XY} \right |= 1$的充要条件是存在常数$a,b$，使
    $p\left \{ Y=aX+b \right \}=1, a\neq 0$
    其中$a=\frac{cov(X,Y)}{D(X)}, b=E(Y)-\frac{E(X)cov(X,Y)}{D(X)}$
  （该定理说明：相关系数描述了随机变量X,Y的线性相关程度，为1时严格符合线性相关，为0时均方误差达到最大值）

均方误差：$e=\left \{ [Y-(ax+b)]^{2} \right \}$（刻画线性拟合的近似程度）

X和Y不相关：

• $E(XY)=E(X)E(Y)$
• $D(X\pm Y)=D(X)+D(Y)$
• $cov(X,Y)=0$
• $\rho _{XY}=0$

X和Y相互独立

• $f(x,y)=f_{X}(x)f_{Y}(y)$
• $P_{ij}=P_{i\cdot }P_{\cdot j}$
• $F(x,y)=F_{X}(x)F_{Y}(y)$

X和Y不相关与X和Y相互独立：

• 相互独立是不相关的充分不必要条件
• 在二维正态随机变量X,Y下，不相关等价于相互独立
  $cov(X,Y)=\rho \sigma _{1}\sigma _{2}$的证明可以看出

*第四节 矩阵、协方差矩阵

原点矩：

• $E(X^{k}), k=1,2,...$:X的k阶原点矩，简称k阶矩
• $E(X^{k}Y^{l}), k=1,2,...$：X和Y的k+l阶混合原点矩
• 计算：
  离散型：$E(X^{k})=\sum_{i=1}^{\infty}x_{i}^{k}p_{i}$
  连续型：$E(X^{k})=\int_{-\infty}^{+\infty}x^{k}f(x)dx$

中心距：

• $E[X-E(X)]^{k}, k=1,2,...$：X的k阶中心距
• $E[X-E(X)]^{k}[Y-E(Y)]^{l}, k=1,2,...$：X和Y的k+k阶混合中心距
  离散型：$E[X-E(X)]^{k}=\sum_{i=1}^{\infty}[X-E(X)]^{k}p_{i}$
  连续型：$E[X-E(X)]^{k}=\int_{-\infty}^{+\infty}[X-E(X)]^{k}f(x)dx$

协方差矩阵：
设n维随机变量$(X_{1},X_{2},...,X_{n})$的1+1阶混合中心距
$\sigma _{ij}=cov(X_{i},X_{j})=E\left \{ [X_{i}-E(X_{i})][X_{j}-E(X_{j})] \right \}, i,j=1,2,...,n$
都存在，则称矩阵
$\Sigma =\begin{pmatrix}\sigma _{11} & \sigma _{12} & ... & \sigma _{1n}\\ \sigma _{21} & \sigma _{22} & ... & \sigma _{2n}\\ ... & ... & & ...\\ \sigma _{n1} & \sigma _{n2} & ... & \sigma _{nn}\end{pmatrix}$
为n维随机变量$(X_{1},X_{2},...,X_{n})$的协方差矩阵
（不难看出协方差矩阵是对称矩阵）

n维正态随机变量$(X_{1},X_{2},...,X_{n})$的概率密度：
$f(x_{1},x_{2},...,x_{n})=\frac{1}{(2\pi )^{\frac{n}{2}}\sqrt{|\Sigma|}}exp\left \{ -\frac{1}{2}(X-\mu)^{T}\Sigma ^{-1}(X-\mu) \right \}$
其中$\Sigma$是$(X_{1},X_{2},...,X_{n})$的协方差矩阵

n维正态随机变量$(X_{1},X_{2},...,X_{n})$的性质：

• n维正态随机变量$(X_{1},X_{2},...,X_{n})$服从n维正态分布的充要条件是$(X_{1},X_{2},...,X_{n})$的任意线性组合
  $l_{1}X_{1}+l_{2}X_{2}+...+l_{n}X_{n}$
  服从一维正态分布，其中$l_{1},l_{2},...,l_{n}$不全为0
• 若$(X_{1},X_{2},...,X_{n})$服从n维正态分布，设$(Y_{1},Y_{2},...,Y_{n})$是$(X_{1},X_{2},...,X_{n})$的线性函数，则$(Y_{1},Y_{2},...,Y_{n})$服从k维正态分布
• 设$(X_{1},X_{2},...,X_{n})$服从n维正态分布，则$(X_{1},X_{2},...,X_{n})$相互独立的充要条件是$(X_{1},X_{2},...,X_{n})$两两不相关