第四章 随机向量

第四章 随机向量

§4.1 二维随机变量及其联合分布

一、二维离散型随机变量及联合分布函数

定义 4.1 (二维离散型随机变量)

如果一个二维随机变量的取值范围是有限数组（有限个点）或可列数组（可列多个点），则称其为二维离散型随机变量。

定义 4.2 (二维随机变量的联合分布函数)

设有二维随机变量 \((X,Y)\)，对任意的实数对 \((x,y)\)，定义下列实值函数

\[F(x,y) = P(X \leq x, Y \leq y), \quad x \in (-\infty, +\infty), y \in (-\infty, +\infty) \]

则称 \(F(x,y)\) 为二维随机变量 \((X,Y)\) 的联合分布函数。

定理 4.1 (二维随机变量联合分布函数的性质)

设有二维随机变量 \((X,Y)\) 的分布函数 \(F(x,y) = P(X \leq x, Y \leq y)\)，则

1. \(0 \leq F(x,y) \leq 1, x,y \in (-\infty, +\infty)\)；

2. \(F(x,y)\) 关于其中任一个自变量单调不减，即对于 \(x_1 < x_2\)，有 \(F(x_1,y) \leq F(x_2,y)\)；对于 \(y_1 < y_2\)，有 \(F(x,y_1) \leq F(x,y_2)\)；

3. \(F(x,y)\) 关于其中任一个自变量右连续，即 \(F(x+0,y) = F(x,y)\)，\(F(x,y+0) = F(x,y)\)；

4. \(\lim_{x \to +\infty, y \to +\infty} F(x,y) = 1\)，\(\lim_{x \to -\infty} F(x,y) = 0\)，\(\lim_{y \to -\infty} F(x,y) = 0\)；

5. 对 \(\forall x_1 < x_2, y_1 < y_2\)，\(F(x_2,y_2) - F(x_2,y_1) - F(x_1,y_2) + F(x_1,y_1) \geq 0\)。

二、二维离散型随机变量的联合分布律

定义 4.3 (二维离散型随机变量的联合分布律)

设二维离散型随机变量 \((X,Y)\) 的取值范围为 \(\Omega = \{(x_i,y_j): i,j = 1,2,\cdots\}\)，且

\[P\{X = x_i, Y = y_j\} = p_{ij}, \quad i,j = 1,2,\cdots \]

称 \(P\{X = x_i, Y = y_j\} = p_{ij}, i,j = 1,2,\cdots\) 为二维离散型随机变量 \((X,Y)\) 的联合分布律。

三、二维连续型随机变量及联合概率密度函数

定义 4.4 (二维连续型随机变量及联合概率密度函数)

设 \((X,Y)\) 为二维随机变量，其联合分布函数为 \(F(x,y)\)，若存在一个定义域为 \((-\infty, +\infty)\) 的非负实值函数 \(f(x,y)\)，使得下式成立：

\[F(x,y) = \int_{-\infty}^y \int_{-\infty}^x f(u,v) dudv, \quad -\infty < x,y < +\infty \]

则称 \((X,Y)\) 为二维连续型随机变量，并称二元函数 \(f(x,y)\) 为 \((X,Y)\) 的联合概率密度函数，简称联合密度函数。

联合密度函数须满足以下两个条件：

1. \(f(x,y) \geq 0, x,y \in (-\infty, +\infty)\)
2. \(\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x,y) dxdy = 1\)

定义 4.5 (二维均匀分布)

若二维连续型随机变量 \((X,Y)\) 的联合密度函数为

\[f(x,y) = \begin{cases} \frac{1}{S}, & (x,y) \in D, \\ 0, & 其他, \end{cases}\]

其中 \(S\) 表示平面区域 \(D\) 的面积，那么就称 \((X,Y)\) 服从区域 \(D\) 上的二维均匀分布。

定义 4.6 (二维正态分布)

若二维连续型随机变量 \((X,Y)\) 的联合密度函数为

\[f(x,y) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}} \exp\{-\frac{1}{2(1-\rho^2)}[\frac{(x-\mu_1)^2}{\sigma_1^2} - \frac{2\rho(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2} + \frac{(y-\mu_2)^2}{\sigma_2^2}]\} \]

\((-\infty < x,y < +\infty, \sigma_1,\sigma_2 > 0, |\rho| < 1)\)，那么称 \((X,Y)\) 服从二维正态分布，记作 \((X,Y) \sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)\)，称 \((X,Y)\) 为二维正态随机变量。

§4.2 边缘分布、随机变量的独立性和条件分布

一、边缘分布函数

定义 4.7

设二维随机变量 \((X,Y)\) 的联合分布函数为 \(F(x,y)\)，称

\[F_X(x) = P(X \leq x) = \lim_{y \to +\infty} F(x,y) = F(x,+\infty), \quad x \in (-\infty,+\infty) \]

为随机变量 \(X\) 的边缘分布函数。同理，称

\[F_Y(y) = P(Y \leq y) = \lim_{x \to +\infty} F(x,y) = F(+\infty,y), \quad y \in (-\infty,+\infty) \]

为 \(Y\) 的边缘分布函数。

二、边缘分布律和边缘密度函数

离散型随机变量的边缘分布律

设二维离散型随机变量 \((X,Y)\) 的联合分布律为 \(P\{X=x_i, Y=y_j\} = p_{ij}, \quad i,j = 1,2,\cdots\)

称 \(P\{X = x_i\} = p_{i\cdot} = \sum_{j=1}^{\infty} p_{ij}, \quad i = 1,2,\cdots\) 为 \(X\) 的边缘分布律；

称 \(P\{Y = y_j\} = p_{\cdot j} = \sum_{i=1}^{\infty} p_{ij}, \quad j = 1,2,\cdots\) 为 \(Y\) 的边缘分布律。

连续型随机变量的边缘密度函数

设二维连续型随机变量 \((X,Y)\) 的联合密度函数为 \(f(x,y)\)，则

\[f_X(x) = \int_{-\infty}^{+\infty} f(x,y) dy, \quad x \in \mathbb{R} \]

为 \(X\) 的边缘密度函数；

\[f_Y(y) = \int_{-\infty}^{+\infty} f(x,y) dx, \quad y \in \mathbb{R} \]

为 \(Y\) 的边缘密度函数。

三、随机变量的相互独立性

定义 4.8 (离散型随机变量的独立性)

设二维离散型随机变量 \((X,Y)\) 的联合分布律为 \(P\{X=x_i, Y=y_j\} = p_{ij}\)。若

\[p_{ij} = p_{i\cdot} p_{\cdot j}, \quad \forall i,j = 1,2,\cdots \]

成立，那么就称 \(X\) 和 \(Y\) 相互独立。

定义 4.9 (连续型随机变量的独立性)

设随机变量 \(X\) 和 \(Y\) 的联合密度函数为 \(f(x,y)\)，边缘密度函数分别为 \(f_X(x)\)、\(f_Y(y)\)，如果在函数 \(f(x,y)\) 的连续点上都成立

\[f(x,y) = f_X(x)f_Y(y) \]

那么称 \(X\) 与 \(Y\) 相互独立。

定理 4.2

随机变量 \(X\) 和 \(Y\) 相互独立的充分必要条件是：对实数轴上任意两个数集 \(B_1\) 和 \(B_2\)，总有

\[P(X \in B_1, Y \in B_2) = P(X \in B_1)P(Y \in B_2) \]

四、条件分布和条件数学期望

定义 4.10 (离散型随机变量的条件分布律)

设二维离散型随机变量 \((X,Y)\) 的联合分布律为 \(P\{X=x_i, Y=y_j\} = p_{ij}\)。若 \(P\{Y=y_j\} > 0\)，称

\[P\{X=x_i|Y=y_j\} = \frac{P\{X=x_i, Y=y_j\}}{P\{Y=y_j\}} = \frac{p_{ij}}{p_{\cdot j}}, \quad i = 1,2,\cdots \]

为已知 \(Y=y_j\) 发生的条件下 \(X\) 的条件分布律。

定义 4.11 (连续型随机变量的条件密度函数)

设二维随机变量 \((X,Y)\) 的联合密度函数为 \(f(x,y)\)，边缘密度函数分别为 \(f_X(x)\) 和 \(f_Y(y)\)。

对任意的实数 \(y\)，当 \(f_Y(y) > 0\) 时，称

\[f_{X|Y}(x|y) = \frac{f(x,y)}{f_Y(y)}, \quad (-\infty < x < +\infty) \]

为 \(Y=y\) 发生时 \(X\) 的条件密度函数。

对任意的实数 \(x\)，当 \(f_X(x) > 0\) 时，称

\[f_{Y|X}(y|x) = \frac{f(x,y)}{f_X(x)}, \quad (-\infty < y < +\infty) \]

为 \(X=x\) 发生时 \(Y\) 的条件密度函数。

条件数学期望

对于离散型随机变量，在事件 \(Y=y_j\) 发生的条件下随机变量 \(X\) 的条件数学期望定义为：

\[E(X|Y=y_j) = \sum_{i} x_i P\{X=x_i|Y=y_j\} = \sum_{i} x_i \frac{p_{ij}}{p_{\cdot j}}, \quad P\{Y=y_j\} > 0 \]

当\(f_Y(y)>0\)时，在事件\(\{Y=y\}\)发生的条件下随机变量\(g(X)\)的条件数学期望定义为

\[E[g(X)|Y=y]=\int_{-\infty}^{+\infty} g(x)f_{X|Y}(x|y)dx=\int_{-\infty}^{+\infty} g(x)\frac{f(x,y)}{f_Y(y)}dx \]

当\(f_X(x)>0\)时，在事件\(\{X=x\}\)发生的条件下随机变量\(g(Y)\)的条件数学期望为

\(E[g(Y)|X=x]=\int_{-\infty}^{+\infty} g(y)f_{Y|X}(y|x)dy=\int_{-\infty}^{+\infty} g(y)\frac{f(x,y)}{f_X(x)}dy\)

§4.3 二维随机变量函数的分布

一、二维离散型随机变量函数的分布

定理 4.3

设 \(X_1, X_2, \cdots, X_n\) 是独立同分布的随机变量,且 \(P\{X_i = 1\} = p, P\{X_i = 0\} = 1-p, i = 1, 2, \cdots, n\), 则

\[Y = \sum_{i=1}^n X_i \sim B(n,p) \]

定理 4.4（分布的可加性）

设随机变量 \(X\) 和 \(Y\) 相互独立,

(1) 若 \(X \sim B(n_1, p), Y \sim B(n_2, p)\), 则 \(X + Y \sim B(n_1 + n_2, p)\);

(2) 若 \(X \sim P(\lambda_1), Y \sim P(\lambda_2)\), 则 \(X + Y \sim P(\lambda_1 + \lambda_2)\).

二、二维连续型随机变量函数的分布

$1. 已知(X, Y)的联合密度函数f(x, y), 求Z=g(X, Y)的密度函数 $

主要步骤如下：

（1）确定随机变量\(Z\)的取值范围；

\(（2）计算Z=g(X, Y)的分布函数如下：\)

\(F_Z(z)=P(Z\leq z)=P(g(X, Y)\leq z)=\iint_{g(x,y)\leq z} f(x,y)dxdy\)；

（3）求导得到Z的密度函数：\(f_Z(z)=\frac{dF_Z(z)}{dz}\)；

（4）完整写出Z的密度函数的表达式.

定理 4.5

设二维连续型随机变量 \((X,Y)\) 的密度函数为 \(f(x,y)\), 则随机变量 \(Z = X + Y\) 的密度函数为

\[f_Z(z) = \int_{-\infty}^{+\infty} f(x, z-x) dx = \int_{-\infty}^{+\infty} f(z-y, y) dy \]

特别地,当 \(X\) 和 \(Y\) 相互独立且密度函数分别为 \(f_X(x)\) 和 \(f_Y(y)\) 时,

\[f_Z(z) = \int_{-\infty}^{+\infty} f_X(x)f_Y(z-x) dx = \int_{-\infty}^{+\infty} f_X(z-y)f_Y(y) dy \]

上述公式称为卷积公式。

定理 4.6 (正态分布的可加性)

设随机变量 \(X_1 \sim N(\mu_1, \sigma_1^2), X_2 \sim N(\mu_2, \sigma_2^2)\) 且 \(X_1\) 和 \(X_2\) 相互独立,则

\[X_1 + X_2 \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2) \]

更一般地,有下面结论：

(1) 设随机变量 \(X_1, X_2, \cdots, X_n\) 相互独立,且 \(X_i \sim N(\mu_i, \sigma_i^2), i = 1, 2, \cdots, n\), \(a_1, a_2, \cdots, a_n\) 是一些常数,且不全为零,则

\[a_1X_1 + a_2X_2 + \cdots + a_nX_n \sim N(\sum_{i=1}^n a_i\mu_i, \sum_{i=1}^n a_i^2\sigma_i^2) \]

(2) 设随机变量 \(X_1, X_2, \cdots, X_n\) 相互独立,且 \(X_i \sim N(\mu, \sigma^2), i = 1, 2, \cdots, n\), \(a_1, a_2, \cdots, a_n\) 是一些不全为零的常数, \(b\) 是常数,则

\[a_1X_1 + a_2X_2 + \cdots + a_nX_n + b \sim N(\mu\sum_{i=1}^n a_i + b, \sigma^2\sum_{i=1}^n a_i^2) \]

三、最大值和最小值的分布

定理 4.7

设连续型随机变量 \(X_1, X_2, \cdots, X_n\) 相互独立且服从相同分布, 具有分布函数 \(F(x)\) 及密度函数 \(f(x)\), 求：

1. \(Y = \max\{X_1, X_2, \cdots, X_n\}\) 的分布函数为 \(F_Y(y) = [F(y)]^n\), 密度函数为 \(f_Y(y) = n[F(y)]^{n-1}f(y)\);

2. \(Z = \min\{X_1, X_2, \cdots, X_n\}\) 的分布函数为 \(F_Z(z) = 1 - [1 - F(z)]^n\), 密度函数为 \(f_Z(z) = n[1 - F(z)]^{n-1}f(z)\).

§4.4 随机向量的数字特征

一、二维随机变量函数的数学期望

定理：
设\((X,Y)\)是二维离散型随机变量，其分布律为\(P\{X=x_i,Y=y_j\}=p_{ij}\)，\(i,j=1,2,\cdots\)，\(Z=g(X,Y)\)是\((X,Y)\)的函数，则：

\[E[g(X,Y)]=\sum_{i=1}^{\infty}\sum_{j=1}^{\infty}g(x_i,y_j)p_{ij} \]

\(二维连续型随机变量(X, Y)的联合密度函数为f(x, y), 则Z=g(X, Y)的数学期望\)

\[E(Z)=\iint_{-\infty}^{+\infty} g(x,y)f(x,y)dxdy \]

$定理4.9（数学期望性质的推广）设随机变量X_1, X_2, ⋯, X_n, $

1）若\(Y=\sum_{i=1}^n k_iX_i+c\), 其中\(k_i(i=1, 2, \cdots, n)\), c是常数, 则

\[E(Y)=\sum_{i=1}^n k_iE(X_i)+c \]

特别地, \(E(\sum_{i=1}^n X_i)=\sum_{i=1}^n E(X_i)\)；

（2）当随机变量\(X_1, X_2, \cdots, X_n\)相互独立时,

\[E(X_1X_2\cdots X_n)=E(X_1)E(X_2)\cdots E(X_n) \]

定理4.10（方差性质的推广）设X, Y是随机变量, 则

1）\(Var(X\pm Y)=Var(X)+Var(Y)\pm 2E[(X-E(X))(Y-E(Y))]\)；

2）\(当X与Y相互独立时, Var(X\pm Y)=Var(X)+Var(Y)\).

一般地, 若随机变量\(X_1, X_2, \cdots, X_n\)相互独立, 则\(Var(\sum_{i=1}^n X_i)=\sum_{i=1}^n Var(X_i)\)

二、协方差及相关系数

定义（协方差）：
设\((X,Y)\)是二维随机变量，称

\[Cov(X,Y)=E[(X-E(X))(Y-E(Y))] \]

为随机变量\(X\)和\(Y\)的协方差。

定理：

\[Cov(X,Y)=E(XY)-E(X)E(Y) \]

性质：

1. \(Cov(X,Y)=Cov(Y,X)\)
2. \(Cov(aX,bY)=abCov(X,Y)\)，其中\(a\)和\(b\)是常数
3. \(Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)\)
4. \(Var(X\pm Y)=Var(X)+Var(Y)\pm 2Cov(X,Y)\)
   \(更一般地, 设a, b, c是任意常数, 则 Var(aX\pm bY+c)=a^2Var(X)+b^2Var(Y)\pm 2abCov(X, Y)\)；
5. 若\(X\)和\(Y\)独立，则\(Cov(X,Y)=0\)

定义（相关系数）：
设\((X,Y)\)是二维随机变量，且\(Var(X)>0\)，\(Var(Y)>0\)，则称

\[Corr_{XY}=\frac{Cov(X,Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}} \]

为随机变量\(X\)和\(Y\)的相关系数。

性质：

1. \(|Corr_{XY}|\leq 1\)
2. \(|Corr_{XY}|=1\)的充要条件是\(X\)和\(Y\)以概率1线性相关，即存在常数\(a\neq 0\)和\(b\)，使得
   \[P\{Y=aX+b\}=1 \]

定理：
\(若随机变量X与Y相互独立, 且Cov(X, Y)存在时, 则X与Y不相关, 反之则不然.\)
\(该定理的逆否命题成立, 即若X与Y相关, 则X与Y一定不独立.\)
定理4.14
\(设(X, Y)服从二维正态分布N(μ_1, μ_2, σ_1^2, σ_2^2, ρ), 则ρ=Corr(X, Y).\)

三、期望向量、协方差矩阵、多维正态分布

定义（期望向量）：
设\(n\)维随机向量\(\mathbf{X}=(X_1,X_2,\cdots,X_n)^T\)，若\(E(X_i)\)（\(i=1,2,\cdots,n\)）都存在，则称向量

\[E(\mathbf{X})=(E(X_1),E(X_2),\cdots,E(X_n))^T \]

为随机向量\(\mathbf{X}\)的数学期望或期望向量。

定义（协方差矩阵）：
设\(n\)维随机向量\(\mathbf{X}=(X_1,X_2,\cdots,X_n)^T\)，\(Cov(X_i,X_j)\)（\(i,j=1,2,\cdots,n\)）存在，则称矩阵

\[\begin{pmatrix} Var(X_1) & Cov(X_1,X_2) & \cdots & Cov(X_1,X_n) \\ Cov(X_2,X_1) & Var(X_2) & \cdots & Cov(X_2,X_n) \\ \vdots & \vdots & \ddots & \vdots \\ Cov(X_n,X_1) & Cov(X_n,X_2) & \cdots & Var(X_n) \end{pmatrix}\]

为随机向量\(\mathbf{X}\)的协方差矩阵。

性质：

1. \(Cov(\mathbf{X})\)是对称矩阵
2. \(Cov(\mathbf{X})\)是非负定矩阵