概率论基础（三）随机向量

由于疫情在家，之间参考的陈老的那本教材留在学校了，所以从这部分开始主要参考了北大李东风教授的公开讲义，见 http://www.math.pku.edu.cn/teachers/lidf/course/probstathsy/probstathsy.pdf 。因此也对于笔记结构稍做了些调整。

这部分主要包括

• 随机向量的概念
• 离散随机向量
• 连续随机向量
• 随机向量函数的分布
• 条件分布

随机向量

• 随机向量 \((X,Y)\)
• 联合概率分布 \(F(x,y)=P(X\le x,Y\le y)\)
• 边缘分布 \(F_X(x)=P(X\le x,Y\le\infty)=F(x,\infty)\)

随机向量，或者说是向量之间的独立性：对于事件我们已经定义过了其独立性，显然为了自洽我们需要根据事件的独立性来进行定义。对于 \(\forall x,y\) ，事件 \(\{X\le x\}, \{Y\le y\}\) 独立，则称随机变量 X 和 Y 独立。显然，对于这个定义，我们用概率的形式写出来就是

\[P(X\le x,Y\le y)=P(X\le x)P(Y\le y)\tag{1.1}\\ F(x,y)=F_X(x)F_Y(y) \]

上面的两条概率分布的形式对于判断离散或者连续的随机变量的独立性都是适用的。（然而事实上我们无法得到一些分布函数的形式，所以更常用的是之后会提到的 pmf/pdf 形式）

这是两个变量独立性的式子，事实上我们可以推导出更高维的式子，即其联合分布函数可以写成各自的边缘分布的乘积的形式。另外，对于独立性，我们有性质

• 对于数集 \(A_1,...,A_n\) ，事件 \(\{X_1\in A_1\}, ...,\{X_n\in A_n\}\) 也独立。
• 一元/多元函数变换后独立，例如 \(\varphi(X_1,...,X_k), g_{k+1}(X_{k+1}),...,g_n(X_n)\) 之间也独立。

离散随机向量

独立性：

\[X\perp \!\!\! \perp Y\Leftrightarrow \forall x_j,y_j, P(X=x_i,Y=y_j)=P(X=x_i)P(Y=y_j) \]

e.g. 多项分布：对于二项分布的拓展，每一次实验的结果可能有 r 种。其 pmf 为

\[P(X_1=k_1,...,X_r=k_r)={n!\over k_1!...k_r!}p_1^{k_1}...p_r^{k_r} \]

连续随机向量

• Def：若对于随机向量 \((X,Y)\) 有 \(P((X,Y)\in D)=\int\int_Df(x,y)dxdy\) ，则称 \((X,Y)\) 为连续型随机向量，并称 \(f(x,y)\) 为其联合密度函数。

• 边缘 pdf：离散情况下简单相加，连续时换成积分 \(f_X(x)=\int f(x,y)dy\)

由定义可知，仅仅是取值连续并不能保障其为连续型随机向量，因为我们要求其具有联合 pdf 才算。下面给出一个例子，来说明有连续的联合分布，并不一定是连续型随机向量。假定 \(X\sim Unif(0,1), Y=X\) ，则这时候

\[F(x,y)=P(X\le x,Y\le y)=P(X\le\min\{x,y\})=\min\{x,y\}, 0<\min\{x,y\}\le 1 \]

也就是说，\((X,Y)\) 只在直线 \(D=\{(x,y)|0\le x=y\le1\}\) 上取值，显然在这上的积分=0。若\((X,Y)\) 有联合 pdf，则会出现

\[1=P((X,Y)\in D)=\int_Df(x,y)dxdy=0 \]

的矛盾。

• 独立性

对于连续型随机向量来说，其独立性除了根据 1.1 式来判定外，还有 pdf 的形式，即 \(f(x,y)=f_X(x)f_Y(y)\) 。也就是说，我们若能将联合 pdf 分解成不同的变量乘积的形式，就能说明这些随机变量独立。

随机向量函数的分布

• 设 \(Z=X+y\) ，则其 pdf 为 \(f_Z(z)=\int f(x,z-x)dx\)
• 设 \(V=X+y\) ，则其 pdf 为 \(f_V(v)=\int f(x,x-v)dx\)

e.g. Rayleigh 分布。假设 \(X,Y\overset{iid}{\sim} N(0,1)\) ，求脱靶量 \(Z=\sqrt{X^2+Y^2}\) 的分布

\[F_Z(z)=P(\sqrt{X^2+Y^2}\le z)=\int\int_{\sqrt{X^2+Y^2}\le z}{1\over 2\pi}\exp(-{x^2+y^2\over 2})dxdy\\ ={1\over 2\pi}\int _0^{2\pi}d\theta\int_1^z e^{-r^2/2}dr\\ =\int_0^z e^{-r^2/2} rdr \]

其中，第二行用了极坐标变换，且 Jacobian 行列式为 r。于是，\(f_Z(z)=z e^{-z^2/2}, z\ge 0\)

上面举的例子是变换为一元函数，现在考虑变换为二元函数的情况，类似随机变量的变换，我们有定理：

定理： \(f(x,y), U=u(X,Y), V=v(X,Y)\) ，若在 D 上有 \(P((U,V)\in d)=1\) ，且存在逆变换 \(x=x(u,v), y=y(u,v)\) ，Jacabian 行列式 \({\partial(x,y)\over\partial(u,v)}\ne 0\) 则 \((U,V)\) 有联合 pdf

\[g(u,v)=f(x(u,v), v(u,v))\bigg|{\partial(x,y)\over\partial(u,v)}\bigg|, (u,x)\in D \]

这里简化了一些条件的表达，总之就是要求存在逆变换；类似一元情况，也可推广到分区域可逆的情况，最终的表达式变为累加即可（下面有个例子）。

e.g. \(X,Y\sim N(0,1), (R,\Theta)\) 由 \(\bigg\{\begin{matrix}X=R\cos(\Theta)\\Y=R\sin(\Theta)\end{matrix}\) 决定，求 \((R,\Theta)\) 的联合 pdf

显然上面的表达式就构建了一个逆变换，Jacobian 行列式值为 r，于是有联合 pdf

\[g(r,\theta)=f(x,y)|{\partial(x,y)\over\partial(u,v)}|={1\over 2\pi}re^{-r^2/2} \]

分别积分，可得边缘分布 \(R\sim Rayleigh\) 即脱靶量； \(\Theta\sim Unif(0,2\pi)\)

e.g. \(X,Y\sim N(0,1),\bigg\{ \begin{matrix}U=X/Y\\V=X^2+Y^2\end{matrix}\) ，求 \((U,V)\) 的 pdf

定义 \(D=\{(u,v)|v>0\}\)，满足 \(P((U,V)\in D)=1\) （忽略了为零的部分）。而对于任意 \((u,v)\in D\) 我们定义函数 \(x=u\sqrt{{v\over 1+u^2}}, y=\sqrt{{v\over 1+u^2}}\) ，于是事件

\[\{U=u,V=v\}=\{X/Y=u, X^2+Y^2=v\}=\{X=x,Y=y\}+\{X=-x,Y=-y\} \]

另外，可计算 Jacobian 行列式 \(={1\over 2(1+u^2)}\)，于是联合 pdf

\[g(u,v)=f(x,y)|J|+f(-x,-y)|J|={1\over 2}e^{-v/2}{1\over\pi(1+u^2)} \]

从表达式可见，U 和 V 独立，并且 \(V\sim Exp({1\over 2}), U\sim Cauchy\)

条件分布

离散时，直接根据（事件的）条件概率公式即可得到条件分布。下面推导连续时的条件分布：

\[\lim_{\epsilon\rightarrow0^+}P(Y\le y|x-\epsilon<X\le x)=\lim_{\epsilon\rightarrow0^+}{P(Y\le y, x-\epsilon<X\le x)\over P(x-\epsilon<X\le x)} = \lim_{\epsilon\rightarrow0^+}{F(x,y)-F(x-\epsilon,y)\over F_X(x)-F_X(x-\epsilon)}\\ ={{\partial F(x,y)\over\partial x}\over F'_X(x)}={{\partial\over\partial x}\int_{-\infty}^x\int_{-\infty}^yf(s,t)dtds\over f_X(x)}=\int_{-\infty}^y{f(x,t)\over f_X(x)}dt \]

于是，在条件 \(X=x\) 下，Y 的条件分布函数 \(F_{Y|X}(y|x)=P(Y\le y|X=x)=\int_{-\infty}^y{f(x,t)\over f_X(x)}dt\) ，另外称 \(f_{Y|X}(y|x)={f(x,t)\over f_X(x)}\) 为条件 \(X=x\) 下，Y 的条件 pdf。（注意到，这里我们用事件 \(\{x-\epsilon<X\le x\}\) 取极限，从而得到连续状态下的条件分布，并定义了条件密度函数。）

e.g. （二维正态的条件分布） 我们知道二维正态分布 \((X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)\) 有联合 pdf

\[f(x,y)={1\over 2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\{-{1\over 2\sqrt{1-\rho^2}}\big({(x-\mu_1)^2\over\sigma_1^2}-{2\rho(x-mu_1)(y-\mu_2)\over2\sigma_1\sigma_2}+ {(y-\mu_2)^2\over\sigma_2^2}\big)\} \]

又知 X 的边缘分布为 \(X\sim N(\mu_1,\sigma_1^2)\) ，于是 \(Y|X=x\) 的条件密度为

\[f_{Y|X}(y|x)={f(x,y)\over f_X(x)}={1\over \sqrt{2\pi(1-\rho^2)}\sigma_2}\exp(-{(y-\mu_x)^2\over 2(1-\rho^2)\sigma_2^2}) \]

即 \(Y|X=x\sim N(\mu_x, (1-\rho^2)\sigma_2^2)\)，其中 \(\mu_x=\mu_2+{\rho\sigma_2\over\sigma_1}(x-\mu_1)\)