概率笔记 P03：多维随机变量及其分布

1 二维随机变量及其分布

二维随机变量

• 二维随机变量的联合分布函数 \(F(x,y) = P\{X \le x, Y \le y\}, -\infty \lt x \lt +\infty, -\infty \lt y \lt +\infty\)
• \(F(x, y)\)的性质
  • \(0 \le F(x, y) \le 1\)
  • \(F(-\infty,y) = F(x, -\infty) = F(-\infty, -\infty) = 0\)
  • \(F(+\infty, +\infty) = 1\)
  • \(F(x, y)\)对于\(x, y\)均单调不减。
  • \(F(x, y)\)对于\(x, y\)均右连续。
  • \(P\{a \lt x \le b, c \lt y \le d\} = F(b,d) - F(b,c) - F(a,d) + F(a,c)\)
• 二维随机变量的边缘分布
  • \(F_X(x) = P\{X \le x\} = F(x, +\infty)\)
  • \(F_Y(y) = P\{Y \le y\} = F(+\infty, y)\)
• 二维随机变量的条件分布
  • \(F_{X|Y}(x|y) = P\{X \le x | Y = y\} \\= \displaystyle \lim_{\varepsilon \to 0^+} P\{X \le x | y-\varepsilon \lt Y \le y + \varepsilon\} \\= \displaystyle \lim_{\varepsilon \to 0^+} \cfrac {P\{X \le x, y - \varepsilon \lt Y \le y + \varepsilon\}}{P\{y - \varepsilon \lt Y \le y + \varepsilon\}}\)
  • 同理可以定义\(F_{Y|X}(y|x)\)

二维离散型随机变量

• 二维离散型随机变量的概率分布（分布律） \(P\{X = x_i, Y = y_j\} = p_{ij}, \ i,j = 1,2,3,\cdots\)
• 二位离散型随机变量的联合分布函数\(F(x, y) = \displaystyle \sum_{x_i \le x} \sum_{y_i \le y} p_{ij}\)
• 二维离散型随机变量的边缘分布
  • \(p_{i \cdot} = P\{X = x_i\} = \displaystyle \sum_{i = 1}^{+\infty} p_{ij}\)
  • \(p_{\cdot j} = P\{Y = y_j\} = \displaystyle \sum_{j = 1}^{+\infty} p_{ij}\)
• 二维离散型随机变量的条件分布
  • \(P\{X = x_i | Y = y_j\} = \cfrac {P\{X = x_i, Y = y_j\}}{P\{Y = y_j\}} = \cfrac {p_{ij}}{p_{\cdot j}}\)
  • \(P\{Y = y_j | X = x_i\} = \cfrac {P\{X = x_i, Y = y_j\}}{P\{X = x_i\}} = \cfrac {p_{ij}}{p_{i \cdot}}\)
• \(p_{ij}\)的性质
  • \(p_{ij} \ge 0\)
  • \(\displaystyle \sum_i \sum_j p_{ij} = 1\)

二维连续型随机变量

• 二维连续型随机变量的概率密度 \(f(x, y)\)
• 二位连续型随机变量的联合分布函数\(F(x, y) = \displaystyle \int_{-\infty}^x \int_{-\infty}^y f(u,v)dudv\)
• 二维连续型随机变量的边缘密度
  • \(f_X(x) = \displaystyle \int_{-\infty}^{+\infty} f(x, y)dy\)
  • \(f_Y(y) = \displaystyle \int_{-\infty}^{+\infty} f(x, y)dx\)
• 二维连续型随机变量的条件密度
  • \(f_{X|Y}(x|y) = \cfrac {f(x, y)}{f_Y(y)}, F_{X|Y}(x|y) = \displaystyle \int_{-\infty}^x \cfrac {f(s, y)}{f_Y(y)} ds\)
  • \(f_{Y|X}(y|x) = \cfrac {f(x, y)}{f_X(x)}, F_{Y|X}(y|x) = \displaystyle \int_{-\infty}^y \cfrac {f(x, s)}{f_X(x)} ds\)
• \(f(x, y)\)的性质
  • \(f(x, y) \ge 0\)
  • \(\displaystyle \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x, y)dxdy = 1\)

2 随机变量的独立性 ####随机变量的独立性

如果对于任意\(x, y\)都有\(P\{X \le x, Y \le y\} = P\{X \le x\} P\{Y \le y\}\)即\(F(x, y) = F_X(x)F_Y(y)\)，则称随机变量\(X\)和\(Y\)相互独立。

随机变量相互独立的充分必要条件

• 离散型随机变量相互独立 \(\iff p_{ij} = p_{i \cdot} p_{\cdot j}\)
• 连续型随机变量相互独立 \(\iff f(x, y) = f_X(x) f_Y(y)\)

3 二维均匀分布和二维正态分布

二维均匀分布

\(f(x, y) = \begin{cases} \cfrac 1A & (x, y) \in G \\ 0 & \text{others} \\ \end{cases}\)

• 均匀分布与几何度量密不可分。

二维正态分布

\((X, Y) \sim N(\mu_1, \mu_2; \sigma_1^2, \sigma_2^2; \rho)\)
\(f(x, y) = \cfrac 1{2\pi \sigma_1 \sigma_2 \sqrt{1-\rho^2}} \mathrm{exp}\{- \cfrac 1{2(1-\rho^2)}\} [\cfrac {(x-\mu_1)^2}{\sigma_1^2} - \cfrac {2\rho (x - \mu_1) (y- \mu_2)}{\sigma_1 \sigma_2} + \cfrac {(y - \mu_2)^2}{\sigma_2^2}]\)

其中，\(\rho = \cfrac {\mathrm{cov(X, Y)}}{\sqrt {D_X} \sqrt {D_Y}}\)

• 若\((X,Y) \sim N(\mu_1, \mu_2; \sigma_1^2, \sigma_2^2; \rho)\)，则\(X \sim N(\mu_1, \sigma_1^2), Y \sim N(\mu_2, \sigma_2^2)\)。
• 概率论中约定：相互独立的正态随机变量\(X\)和\(Y\)就是指\((X,Y) \sim N(\mu_1, \mu_2; \sigma_1^2, \sigma_2^2; 0)\)。
• \(X\)和\(Y\)相互独立\(\iff \rho = 0\)
• 当行列式\(\left| \begin{matrix} a & b \\ c & d \\ \end{matrix} \right| \neq 0\)时，\((aX + bY, cX + dY)\)也一定是二维正态分布。
• \((X, Y)\)为二维正态分布，且\(a^2 + b^2 \neq 0\)，则\(aX + bY \sim N(a\mu_1 + b\mu_2, a^2 \sigma_1^2 + 2ab \sigma_1 \sigma_2 \rho + b^2 \sigma_2^2)\)。
• \(X_1, X_2, \cdots, X_n\)相互独立，且\(X_i \sim N(\mu_i, \sigma_i^2)\)，则\(\displaystyle \sum_{i=1}^n C_i X_i \sim N(\sum_{i = 1}^n C_i \mu_i, \sum_{i=1}^n C_i^2 \sigma_i^2)\)。

4 两个随机变量函数的分布

离散型

对于\(Z = g(X, Y)\)，有\(P\{Z = z_k\} = P\{g(X, Y) = z_k\} = \displaystyle \sum_{g(x_i,y_j) = z_k} p_{ij}\)。也即可以取到相同\(Z\)值的\((x, y)\)的概率累加。

连续型

对于\(Z = g(X, Y)\)，有\(F_Z(z) = P\{Z \le z\} = P\{g(X, Y) \le z\} = \displaystyle \iint_{g(x,y) \le z} f(x, y)dxdy\)。

有以下几种常见情况：

• \(Z = X \pm Y\)、\(Z = XY\)、\(Z = \cfrac XY\)，以\(Z\)表示\(Y\)，根据\(X,Y\)的范围确定\(Z\)的范围，然后分区域进行积分\(\displaystyle F_Z(z) = \int_{-\infty}^{+\infty} f(x, y(z))|y'(z)|dx\)。

  特别的，当\(Z = X + Y\)时，

  \(F_Z(z) = \displaystyle \int_{-\infty}^{+\infty} dx \int_{-\infty}^{z-x} f(x, y)dy \\ f_Z(z) = \displaystyle \int_{-\infty}^{+\infty} f(x, z-x)dx = \int_{-\infty}^{+\infty} f(z-y, y)dy\)

  当\(X,Y\)相互独立时，\(f(x, y) = f_X(x) f_Y(y)\)，则\(f_Z(z) = \displaystyle \int_{-\infty}^{+\infty} f_X(x) f_Y(z-x) dx = \int_{-\infty}^{+\infty} f_X(z-y) f_Y(y) dy = f_X * f_Y\)，被成为卷积公式。

• \(Z = \max(X, Y)\)，则\(F_Z(z) = P\{\max(X, Y) \le z\} = P\{X \le z, Y \le z\} = F_{XY}(z, z)\)

• \(Z = \min(X,Y)\)， 则\(F_Z(z) = P\{\min(X,Y) \le z\} = P\{(X \le z) \cup(Y \le z)\} \\ = F_X(z) + F_Y(z) - F_{XY}(z, z)\)

• \(X,Y\)相互独立，则

  • \(X \sim B(n,p), Y \sim B(m,p) \to X+Y \sim B(n+m,p)\)
  • \(X \sim P(\lambda_1), Y \sim P(\lambda_2) \to X+Y \sim P(\lambda_1+\lambda_2)\)