[概率论与数理统计]笔记：3.4 随机向量的数字特征

3.4 随机向量的数字特征

协方差

定义

协方差用于反映随机向量的分量之间关系的密切程度。

$$cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EX\cdot EY$$

性质

• $cov(X,X)=DX$

• $cov(X,Y)=cov(Y,X)$

• $cov(aX,bY)=ab\cdot cov(X,Y)$，$a,b$为任意常数

• $cov(C,X)=0$，$C$为任意常数

• $cov(X_1+X_2,Y)=cov(X_1,Y)+cov(X_2,Y)$

• 如果$X,Y$相互独立，则$cov(X,Y)=0$。反过来不成立：如果$cov(X,Y)=0$，$X,Y$不一定相互独立。

  • 对于方差存在的随机变量$X,Y$，有$D(X\pm Y)=DX+DY\pm 2cov(X,Y)$
  • 当$X,Y$相互独立时，$D(X\pm Y)=DX+DY$

• $n$维随机向量$(X_1,X_2,\cdots ,X_n)$，$X_i(i=1,2,\cdots ,n)$的方差均存在，则对于任意实向量$({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n)$，$\sum _{i=1}^n{\lambda }_i{X}_i$的方差必存在，且

  $$D(\sum _{i=1}^n{\lambda }_i{X}_i)=\sum _{i=1}^n{\lambda }_i^{2}D{X}_i+2\sum _{1\le i<j\le n}{\lambda }_i{\lambda }_{j}cov(X_i,Y_j).$$

  特别地，当$X_1,X_2,\cdots ,X_n$两两独立时，有

  $$D(\sum _{i=1}^n{\lambda }_i{X}_i)=\sum _{i=1}^n{\lambda }_i^{2}D{X}_i$$

计算

• 离散型：$cov(X,Y)=\sum _{i,j}(x_i-EX)(y_j-EY)p_{ij}$

• 连续型：$cov(X,Y)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}(x-EX)(y-EY)f(x,y)\mathrm{d}x\mathrm{d}y$

• 实际做题中常用的公式：$cov(X,Y)=E(XY)-EX\cdot EY$

---

协方差矩阵

定义

$(X_1,X_2,\cdots ,X_n)$是$n$维随机向量，$X_i(i=1,2,\cdots ,n)$的方差均存在，则以${\sigma }_{ij}=cov(X_i,Y_j)$为第$(i,j)$个元素的矩阵$({\sigma }_{ij}{)}_{n\times n}$称为随机向量$(X_1,X_2,\cdots ,X_n)$的协方差矩阵，简称协差阵。

记$\mathbf{X}=(X_1,X_2,\cdots ,X_n{)}^T$，其协差阵通常记作$D\mathbf{X}$.

对任意实向量$\mathit{\lambda }=({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n{)}^T$，有$D({\mathit{\lambda }}^T\text{bold}X={\mathit{\lambda }}^{T}D\text{bold}X\mathit{\lambda })$

---

相关系数

协方差是对两个随机变量的协同变化的度量，但是数值受数量单位影响，也即受各随机变量自身取值水平的影响。

为了避免这种影响，可以采取标准化。

标准化

$$X^{\ast }=\frac{X-EX}{\sqrt{DX}},Y^{\ast }=\frac{Y-EY}{\sqrt{DY}}.$$

相关系数的定义

标准化后的随机变量的协方差为

$$\begin{array}{rl}cov(X^{\ast },Y^{\ast })& =E(X^{\ast }{Y}^{\ast })-E{X}^{\ast }E{Y}^{\ast }\\ & =E[\frac{X-EX}{\sqrt{DX}}\cdot \frac{Y-EY}{\sqrt{DY}}]-E(\frac{X-EX}{\sqrt{DX}})E(\frac{Y-EY}{\sqrt{DY}})\\ & =E[\frac{X-EX}{\sqrt{DX}}\cdot \frac{Y-EY}{\sqrt{DY}}]-\frac{1}{\sqrt{DX}\sqrt{DY}}E(X-EX)E(Y-EY)\\ & =E[\frac{X-EX}{\sqrt{DX}}\cdot \frac{Y-EY}{\sqrt{DY}}]-\frac{1}{\sqrt{DX}\sqrt{DY}}(EX-EX)(EY-EY)\\ & =E[\frac{X-EX}{\sqrt{DX}}\cdot \frac{Y-EY}{\sqrt{DY}}]\\ & =\frac{E((X-EX)(Y-EY))}{\sqrt{DX}\sqrt{DY}}\\ & =\frac{cov(X,Y)}{\sqrt{DX}\sqrt{DY}}\end{array}$$

将其称为$X,Y$之间的相关系数，记作${\rho }_{X,Y}=\frac{cov(X,Y)}{\sqrt{DX}\sqrt{DY}}$.

概念与性质

• 相关系数恒满足：$|{\rho }_{X,Y}|\le 1$

• 如果$X,Y$之间存在线性函数关系，则$|{\rho }_{X,Y}|=1$.

  此时，称$X,Y$完全相关。

  当$\rho =1$时，称完全正相关。

  当$\rho =-1$时，称完全负相关。

• 如果${\rho }_{X,Y}=0$，则称$X,Y$不相关。

  从相关系数和协方差的定义可以知道：

  $$\begin{gathered} \mathrm{独}\mathrm{立}\Rightarrow \mathrm{不}\mathrm{相}\mathrm{关} \\ \mathrm{不}\mathrm{相}\mathrm{关}\nRightarrow \mathrm{独}\mathrm{立} \end{gathered}$$

  $\mathrm{独}\mathrm{立}\Rightarrow \mathrm{没}\mathrm{有}\mathrm{关}\mathrm{系}\Rightarrow \mathrm{没}\mathrm{有}\mathrm{线}\mathrm{性}\mathrm{关}\mathrm{系}\Rightarrow \mathrm{不}\mathrm{相}\mathrm{关}$.

  $\mathrm{不}\mathrm{相}\mathrm{关}\Rightarrow \mathrm{没}\mathrm{有}\mathrm{线}\mathrm{性}\mathrm{关}\mathrm{系}，\mathrm{但}\mathrm{是}\mathrm{可}\mathrm{能}\mathrm{存}\mathrm{在}\mathrm{非}\mathrm{线}\mathrm{性}\mathrm{关}\mathrm{系}\nRightarrow \mathrm{独}\mathrm{立}$.

• 如果$0<|{\rho }_{X,Y}|<1$，则称$X,Y$不完全相关.

  当$\rho >0$时，称为正相关。

  当$\rho <0$时，称为负相关。

---

条件数学期望

定义

离散型

在$Y=y_j$的条件下，$X$的条件概率分布为

$$P\{X=x_i|Y=y_j\}=p_{i|j},i=1,2,\cdots ,$$

如果

$$\sum _i|x_i|p_{i|j}<+\mathrm{\infty }$$

即绝对收敛，则称$\sum _i|x_i|p_{i|j}$为$X$在$Y=y_j$条件下的条件数学期望，记作$E[X|Y=y_j]$.

连续型

在$Y=y$的条件下，$X$的条件密度函数为

$${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}|x|f_{X|Y}(x|y)\mathrm{d}x<+\mathrm{\infty },$$

则称

$${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}x{f}_{X|Y}(x|y)\mathrm{d}x$$

为$X$在$Y=y$条件下的条件数学期望。记作$E[X|Y=y]$.

性质

条件数学期望具有数学期望具有的所有数学性质。

👉概率论与数理统计]笔记：2.2 随机变量的数字特征 - feixianxing - 博客园 (cnblogs.com)

• 如果$X,Y$相互独立，则$E[X|Y=y]=EX$.

使用教材：
《概率论与数理统计》第四版 中国人民大学 龙永红 主编 高等教育出版社