第四章 随机向量

合集 - 概率论与数理统计 同济大学数学科学学院课件 笔记(2)

1.第四章 随机向量2024-11-16

2.第五章 大数定律和中心极限定律2024-11-18

收起

第四章 随机向量

§4.1 二维随机变量及其联合分布

一、二维离散型随机变量及联合分布函数

定义 4.1 (二维离散型随机变量)

如果一个二维随机变量的取值范围是有限数组（有限个点）或可列数组（可列多个点），则称其为二维离散型随机变量。

定义 4.2 (二维随机变量的联合分布函数)

设有二维随机变量 $(X,Y)$，对任意的实数对 $(x,y)$，定义下列实值函数

$$F(x,y)=P(X\le x,Y\le y),x\in (-\mathrm{\infty },+\mathrm{\infty }),y\in (-\mathrm{\infty },+\mathrm{\infty })$$

则称 $F(x,y)$ 为二维随机变量 $(X,Y)$ 的联合分布函数。

定理 4.1 (二维随机变量联合分布函数的性质)

设有二维随机变量 $(X,Y)$ 的分布函数 $F(x,y)=P(X\le x,Y\le y)$，则

1. $0\le F(x,y)\le 1,x,y\in (-\mathrm{\infty },+\mathrm{\infty })$；

2. $F(x,y)$ 关于其中任一个自变量单调不减，即对于 $x_1<x_2$，有 $F(x_1,y)\le F(x_2,y)$；对于 $y_1<y_2$，有 $F(x,y_1)\le F(x,y_2)$；

3. $F(x,y)$ 关于其中任一个自变量右连续，即 $F(x+0,y)=F(x,y)$，$F(x,y+0)=F(x,y)$；

4. $\underset{x\to +\mathrm{\infty },y\to +\mathrm{\infty }}{lim}F(x,y)=1$，$\underset{x\to -\mathrm{\infty }}{lim}F(x,y)=0$，$\underset{y\to -\mathrm{\infty }}{lim}F(x,y)=0$；

5. 对 $\mathrm{\forall }{x}_1<x_2,y_1<y_2$，$F(x_2,y_2)-F(x_2,y_1)-F(x_1,y_2)+F(x_1,y_1)\ge 0$。

二、二维离散型随机变量的联合分布律

定义 4.3 (二维离散型随机变量的联合分布律)

设二维离散型随机变量 $(X,Y)$ 的取值范围为 $\mathrm{\Omega }=\{(x_i,y_j):i,j=1,2,\cdots \}$，且

$$P\{X=x_i,Y=y_j\}=p_{ij},i,j=1,2,\cdots$$

称 $P\{X=x_i,Y=y_j\}=p_{ij},i,j=1,2,\cdots$ 为二维离散型随机变量 $(X,Y)$ 的联合分布律。

三、二维连续型随机变量及联合概率密度函数

定义 4.4 (二维连续型随机变量及联合概率密度函数)

设 $(X,Y)$ 为二维随机变量，其联合分布函数为 $F(x,y)$，若存在一个定义域为 $(-\mathrm{\infty },+\mathrm{\infty })$ 的非负实值函数 $f(x,y)$，使得下式成立：

$$F(x,y)={\int }_{-\mathrm{\infty }}^y{\int }_{-\mathrm{\infty }}^{x}f(u,v)dudv,-\mathrm{\infty }<x,y<+\mathrm{\infty }$$

则称 $(X,Y)$ 为二维连续型随机变量，并称二元函数 $f(x,y)$ 为 $(X,Y)$ 的联合概率密度函数，简称联合密度函数。

联合密度函数须满足以下两个条件：

1. $f(x,y)\ge 0,x,y\in (-\mathrm{\infty },+\mathrm{\infty })$
2. ${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(x,y)dxdy=1$

定义 4.5 (二维均匀分布)

若二维连续型随机变量 $(X,Y)$ 的联合密度函数为

$$f(x,y)=\{\begin{array}{ll}\frac{1}{S},& (x,y)\in D,\\ 0,& \mathrm{其}\mathrm{他},\end{array}$$

其中 $S$ 表示平面区域 $D$ 的面积，那么就称 $(X,Y)$ 服从区域 $D$ 上的二维均匀分布。

定义 4.6 (二维正态分布)

若二维连续型随机变量 $(X,Y)$ 的联合密度函数为

$$f(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}\exp \{-\frac{1}{2(1-{\rho }^2)}[\frac{(x-{\mu }_1{)}^2}{{\sigma }_1^2}-\frac{2\rho (x-{\mu }_1)(y-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{(y-{\mu }_2{)}^2}{{\sigma }_2^2}]\}$$

$(-\mathrm{\infty }<x,y<+\mathrm{\infty },{\sigma }_1,{\sigma }_2>0,|\rho |<1)$，那么称 $(X,Y)$ 服从二维正态分布，记作 $(X,Y)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$，称 $(X,Y)$ 为二维正态随机变量。

§4.2 边缘分布、随机变量的独立性和条件分布

一、边缘分布函数

定义 4.7

设二维随机变量 $(X,Y)$ 的联合分布函数为 $F(x,y)$，称

$$F_X(x)=P(X\le x)=\underset{y\to +\mathrm{\infty }}{lim}F(x,y)=F(x,+\mathrm{\infty }),x\in (-\mathrm{\infty },+\mathrm{\infty })$$

为随机变量 $X$ 的边缘分布函数。同理，称

$$F_Y(y)=P(Y\le y)=\underset{x\to +\mathrm{\infty }}{lim}F(x,y)=F(+\mathrm{\infty },y),y\in (-\mathrm{\infty },+\mathrm{\infty })$$

为 $Y$ 的边缘分布函数。

二、边缘分布律和边缘密度函数

离散型随机变量的边缘分布律

设二维离散型随机变量 $(X,Y)$ 的联合分布律为 $P\{X=x_i,Y=y_j\}=p_{ij},i,j=1,2,\cdots$

称 $P\{X=x_i\}=p_{i\cdot }=\sum _{j=1}^{\mathrm{\infty }}{p}_{ij},i=1,2,\cdots$ 为 $X$ 的边缘分布律；

称 $P\{Y=y_j\}=p_{\cdot j}=\sum _{i=1}^{\mathrm{\infty }}{p}_{ij},j=1,2,\cdots$ 为 $Y$ 的边缘分布律。

连续型随机变量的边缘密度函数

设二维连续型随机变量 $(X,Y)$ 的联合密度函数为 $f(x,y)$，则

$$f_X(x)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(x,y)dy,x\in \mathbb{R}$$

为 $X$ 的边缘密度函数；

$$f_Y(y)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(x,y)dx,y\in \mathbb{R}$$

为 $Y$ 的边缘密度函数。

三、随机变量的相互独立性

定义 4.8 (离散型随机变量的独立性)

设二维离散型随机变量 $(X,Y)$ 的联合分布律为 $P\{X=x_i,Y=y_j\}=p_{ij}$。若

$$p_{ij}=p_{i\cdot }{p}_{\cdot j},\mathrm{\forall }i,j=1,2,\cdots$$

成立，那么就称 $X$ 和 $Y$ 相互独立。

定义 4.9 (连续型随机变量的独立性)

设随机变量 $X$ 和 $Y$ 的联合密度函数为 $f(x,y)$，边缘密度函数分别为 $f_X(x)$、$f_Y(y)$，如果在函数 $f(x,y)$ 的连续点上都成立

$$f(x,y)=f_X(x)f_Y(y)$$

那么称 $X$ 与 $Y$ 相互独立。

定理 4.2

随机变量 $X$ 和 $Y$ 相互独立的充分必要条件是：对实数轴上任意两个数集 $B_1$ 和 $B_2$，总有

$$P(X\in B_1,Y\in B_2)=P(X\in B_1)P(Y\in B_2)$$

四、条件分布和条件数学期望

定义 4.10 (离散型随机变量的条件分布律)

设二维离散型随机变量 $(X,Y)$ 的联合分布律为 $P\{X=x_i,Y=y_j\}=p_{ij}$。若 $P\{Y=y_j\}>0$，称

$$P\{X=x_i|Y=y_j\}=\frac{P\{X=x_i,Y=y_j\}}{P\{Y=y_j\}}=\frac{p_{ij}}{p_{\cdot j}},i=1,2,\cdots$$

为已知 $Y=y_j$ 发生的条件下 $X$ 的条件分布律。

定义 4.11 (连续型随机变量的条件密度函数)

设二维随机变量 $(X,Y)$ 的联合密度函数为 $f(x,y)$，边缘密度函数分别为 $f_X(x)$ 和 $f_Y(y)$。

对任意的实数 $y$，当 $f_Y(y)>0$ 时，称

$$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)},(-\mathrm{\infty }<x<+\mathrm{\infty })$$

为 $Y=y$ 发生时 $X$ 的条件密度函数。

对任意的实数 $x$，当 $f_X(x)>0$ 时，称

$$f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)},(-\mathrm{\infty }<y<+\mathrm{\infty })$$

为 $X=x$ 发生时 $Y$ 的条件密度函数。

条件数学期望

对于离散型随机变量，在事件 $Y=y_j$ 发生的条件下随机变量 $X$ 的条件数学期望定义为：

$$E(X|Y=y_j)=\sum _i{x}_{i}P\{X=x_i|Y=y_j\}=\sum _i{x}_i\frac{p_{ij}}{p_{\cdot j}},P\{Y=y_j\}>0$$

当$f_Y(y)>0$时，在事件$\{Y=y\}$发生的条件下随机变量$g(X)$的条件数学期望定义为

$$E[g(X)|Y=y]={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}g(x)f_{X|Y}(x|y)dx={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}g(x)\frac{f(x,y)}{f_Y(y)}dx$$

当$f_X(x)>0$时，在事件$\{X=x\}$发生的条件下随机变量$g(Y)$的条件数学期望为

$E[g(Y)|X=x]={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}g(y)f_{Y|X}(y|x)dy={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}g(y)\frac{f(x,y)}{f_X(x)}dy$

§4.3 二维随机变量函数的分布

一、二维离散型随机变量函数的分布

定理 4.3

设 $X_1,X_2,\cdots ,X_n$ 是独立同分布的随机变量,且 $P\{X_i=1\}=p,P\{X_i=0\}=1-p,i=1,2,\cdots ,n$, 则

$$Y=\sum _{i=1}^n{X}_i\sim B(n,p)$$

定理 4.4（分布的可加性）

设随机变量 $X$ 和 $Y$ 相互独立,

(1) 若 $X\sim B(n_1,p),Y\sim B(n_2,p)$, 则 $X+Y\sim B(n_1+n_2,p)$;

(2) 若 $X\sim P({\lambda }_1),Y\sim P({\lambda }_2)$, 则 $X+Y\sim P({\lambda }_1+{\lambda }_2)$.

二、二维连续型随机变量函数的分布

$1.\mathrm{已}\mathrm{知}(X,Y)\mathrm{的}\mathrm{联}\mathrm{合}\mathrm{密}\mathrm{度}\mathrm{函}\mathrm{数}f(x,y),\mathrm{求}Z=g(X,Y)\mathrm{的}\mathrm{密}\mathrm{度}\mathrm{函}\mathrm{数}$

主要步骤如下：

（1）确定随机变量$Z$的取值范围；

$（2）\mathrm{计}\mathrm{算}Z=g(X,Y)\mathrm{的}\mathrm{分}\mathrm{布}\mathrm{函}\mathrm{数}\mathrm{如}\mathrm{下}：$

$F_Z(z)=P(Z\le z)=P(g(X,Y)\le z)={\iint }_{g(x,y)\le z}f(x,y)dxdy$；

（3）求导得到Z的密度函数：$f_Z(z)=\frac{d{F}_Z(z)}{dz}$；

（4）完整写出Z的密度函数的表达式.

定理 4.5

设二维连续型随机变量 $(X,Y)$ 的密度函数为 $f(x,y)$, 则随机变量 $Z=X+Y$ 的密度函数为

$$f_Z(z)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(x,z-x)dx={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(z-y,y)dy$$

特别地,当 $X$ 和 $Y$ 相互独立且密度函数分别为 $f_X(x)$ 和 $f_Y(y)$ 时,

$$f_Z(z)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{f}_X(x)f_Y(z-x)dx={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{f}_X(z-y)f_Y(y)dy$$

上述公式称为卷积公式。

定理 4.6 (正态分布的可加性)

设随机变量 $X_1\sim N({\mu }_1,{\sigma }_1^2),X_2\sim N({\mu }_2,{\sigma }_2^2)$ 且 $X_1$ 和 $X_2$ 相互独立,则

$$X_1+X_2\sim N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$$

更一般地,有下面结论：

(1) 设随机变量 $X_1,X_2,\cdots ,X_n$ 相互独立,且 $X_i\sim N({\mu }_i,{\sigma }_i^2),i=1,2,\cdots ,n$, $a_1,a_2,\cdots ,a_n$ 是一些常数,且不全为零,则

$$a_1{X}_1+a_2{X}_2+\cdots +a_n{X}_n\sim N(\sum _{i=1}^n{a}_i{\mu }_i,\sum _{i=1}^n{a}_i^2{\sigma }_i^2)$$

(2) 设随机变量 $X_1,X_2,\cdots ,X_n$ 相互独立,且 $X_i\sim N(\mu ,{\sigma }^2),i=1,2,\cdots ,n$, $a_1,a_2,\cdots ,a_n$ 是一些不全为零的常数, $b$ 是常数,则

$$a_1{X}_1+a_2{X}_2+\cdots +a_n{X}_n+b\sim N(\mu \sum _{i=1}^n{a}_i+b,{\sigma }^2\sum _{i=1}^n{a}_i^2)$$

三、最大值和最小值的分布

定理 4.7

设连续型随机变量 $X_1,X_2,\cdots ,X_n$ 相互独立且服从相同分布, 具有分布函数 $F(x)$ 及密度函数 $f(x)$, 求：

1. $Y=max\{X_1,X_2,\cdots ,X_n\}$ 的分布函数为 $F_Y(y)=[F(y){]}^n$, 密度函数为 $f_Y(y)=n[F(y){]}^{n-1}f(y)$;

2. $Z=min\{X_1,X_2,\cdots ,X_n\}$ 的分布函数为 $F_Z(z)=1-[1-F(z){]}^n$, 密度函数为 $f_Z(z)=n[1-F(z){]}^{n-1}f(z)$.

§4.4 随机向量的数字特征

一、二维随机变量函数的数学期望

定理：
设$(X,Y)$是二维离散型随机变量，其分布律为$P\{X=x_i,Y=y_j\}=p_{ij}$，$i,j=1,2,\cdots$，$Z=g(X,Y)$是$(X,Y)$的函数，则：

$$E[g(X,Y)]=\sum _{i=1}^{\mathrm{\infty }}\sum _{j=1}^{\mathrm{\infty }}g(x_i,y_j)p_{ij}$$

$\mathrm{二}\mathrm{维}\mathrm{连}\mathrm{续}\mathrm{型}\mathrm{随}\mathrm{机}\mathrm{变}\mathrm{量}(X,Y)\mathrm{的}\mathrm{联}\mathrm{合}\mathrm{密}\mathrm{度}\mathrm{函}\mathrm{数}\mathrm{为}f(x,y),\mathrm{则}Z=g(X,Y)\mathrm{的}\mathrm{数}\mathrm{学}\mathrm{期}\mathrm{望}$

$$E(Z)={\iint }_{-\mathrm{\infty }}^{+\mathrm{\infty }}g(x,y)f(x,y)dxdy$$

$\mathrm{定}\mathrm{理}4.9（\mathrm{数}\mathrm{学}\mathrm{期}\mathrm{望}\mathrm{性}\mathrm{质}\mathrm{的}\mathrm{推}\mathrm{广}）\mathrm{设}\mathrm{随}\mathrm{机}\mathrm{变}\mathrm{量}{X}_1,X_2,\cdots ,X_n,$

1）若$Y=\sum _{i=1}^n{k}_i{X}_i+c$, 其中$k_i(i=1,2,\cdots ,n)$, c是常数, 则

$$E(Y)=\sum _{i=1}^n{k}_{i}E(X_i)+c$$

特别地, $E(\sum _{i=1}^n{X}_i)=\sum _{i=1}^{n}E(X_i)$；

（2）当随机变量$X_1,X_2,\cdots ,X_n$相互独立时,

$$E(X_1{X}_2\cdots X_n)=E(X_1)E(X_2)\cdots E(X_n)$$

定理4.10（方差性质的推广）设X, Y是随机变量, 则

1）$Var(X\pm Y)=Var(X)+Var(Y)\pm 2E[(X-E(X))(Y-E(Y))]$；

2）$\mathrm{当}X\mathrm{与}Y\mathrm{相}\mathrm{互}\mathrm{独}\mathrm{立}\mathrm{时},Var(X\pm Y)=Var(X)+Var(Y)$.

一般地, 若随机变量$X_1,X_2,\cdots ,X_n$相互独立, 则$Var(\sum _{i=1}^n{X}_i)=\sum _{i=1}^{n}Var(X_i)$

二、协方差及相关系数

定义（协方差）：
设$(X,Y)$是二维随机变量，称

$$Cov(X,Y)=E[(X-E(X))(Y-E(Y))]$$

为随机变量$X$和$Y$的协方差。

定理：

$$Cov(X,Y)=E(XY)-E(X)E(Y)$$

性质：

1. $Cov(X,Y)=Cov(Y,X)$
2. $Cov(aX,bY)=abCov(X,Y)$，其中$a$和$b$是常数
3. $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
4. $Var(X\pm Y)=Var(X)+Var(Y)\pm 2Cov(X,Y)$
   $\mathrm{更}\mathrm{一}\mathrm{般}\mathrm{地},\mathrm{设}a,b,c\mathrm{是}\mathrm{任}\mathrm{意}\mathrm{常}\mathrm{数},\mathrm{则}Var(aX\pm bY+c)=a^{2}Var(X)+b^{2}Var(Y)\pm 2abCov(X,Y)$；
5. 若$X$和$Y$独立，则$Cov(X,Y)=0$

定义（相关系数）：
设$(X,Y)$是二维随机变量，且$Var(X)>0$，$Var(Y)>0$，则称

$$Cor{r}_{XY}=\frac{Cov(X,Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}}$$

为随机变量$X$和$Y$的相关系数。

性质：

1. $|Cor{r}_{XY}|\le 1$
2. $|Cor{r}_{XY}|=1$的充要条件是$X$和$Y$以概率1线性相关，即存在常数$a\ne 0$和$b$，使得
   $$P\{Y=aX+b\}=1$$

定理：
$\mathrm{若}\mathrm{随}\mathrm{机}\mathrm{变}\mathrm{量}X\mathrm{与}Y\mathrm{相}\mathrm{互}\mathrm{独}\mathrm{立},\mathrm{且}Cov(X,Y)\mathrm{存}\mathrm{在}\mathrm{时},\mathrm{则}X\mathrm{与}Y\mathrm{不}\mathrm{相}\mathrm{关},\mathrm{反}\mathrm{之}\mathrm{则}\mathrm{不}\mathrm{然}.$
$\mathrm{该}\mathrm{定}\mathrm{理}\mathrm{的}\mathrm{逆}\mathrm{否}\mathrm{命}\mathrm{题}\mathrm{成}\mathrm{立},\mathrm{即}\mathrm{若}X\mathrm{与}Y\mathrm{相}\mathrm{关},\mathrm{则}X\mathrm{与}Y\mathrm{一}\mathrm{定}\mathrm{不}\mathrm{独}\mathrm{立}.$
定理4.14
$\mathrm{设}(X,Y)\mathrm{服}\mathrm{从}\mathrm{二}\mathrm{维}\mathrm{正}\mathrm{态}\mathrm{分}\mathrm{布}N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho ),\mathrm{则}\rho =Corr(X,Y).$

三、期望向量、协方差矩阵、多维正态分布

定义（期望向量）：
设$n$维随机向量$\mathbf{X}=(X_1,X_2,\cdots ,X_n{)}^T$，若$E(X_i)$（$i=1,2,\cdots ,n$）都存在，则称向量

$$E(\mathbf{X})=(E(X_1),E(X_2),\cdots ,E(X_n){)}^T$$

为随机向量$\mathbf{X}$的数学期望或期望向量。

定义（协方差矩阵）：
设$n$维随机向量$\mathbf{X}=(X_1,X_2,\cdots ,X_n{)}^T$，$Cov(X_i,X_j)$（$i,j=1,2,\cdots ,n$）存在，则称矩阵

$$\left(\begin{array}{cccc}Var(X_1)& Cov(X_1,X_2)& \cdots & Cov(X_1,X_n)\\ Cov(X_2,X_1)& Var(X_2)& \cdots & Cov(X_2,X_n)\\ ⋮& ⋮& \ddots & ⋮\\ Cov(X_n,X_1)& Cov(X_n,X_2)& \cdots & Var(X_n)\end{array}\right)$$

为随机向量$\mathbf{X}$的协方差矩阵。

性质：

1. $Cov(\mathbf{X})$是对称矩阵
2. $Cov(\mathbf{X})$是非负定矩阵