方差、协方差与相关系数

1. 方差

在统计学中，对单个随机变量的描述有均值和方差。随机变量 $X$ 有 $n$ 个观测样本： $x_i,i=1,2,...,n$ ，则均值（mean）为：

\begin{matrix} (1) & \bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i} \end{matrix}

$\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_i \tag{1}$

又称随机变量 $X$ 的期望（expectation，E）：

\begin{matrix} (2) & E (X) = \sum_{i = 1}^{n} \frac{1}{n} x_{i} \end{matrix}

$\mathrm{E}(X)=\sum_{i=1}^{n}\frac{1}{n}x_i \tag{2}$

方差为（variance，var）：

\begin{matrix} (3) & v a r (X) = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} \end{matrix}

$\mathrm{var}(X)=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2 \tag{3}$

2. 协方差

2.1 协方差的定义

方差描述单个随机变量的离散程度；当存在多个随机变量（如 $X$ 、 $Y$ ）时，需要引入协方差（covariance，cov）：

\begin{matrix} (4) & c o v (X, Y) = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y}) \end{matrix}

$\mathrm{cov}(X,Y)=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y}) \tag{4}$

可以看到，方差实际上是协方差的特殊情况，即随机变量 $X$ 和自己的协方差：

\begin{matrix} (5) & v a r (X) = c o v (X, X) = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x}) \end{matrix}

$\mathrm{var}(X)=\mathrm{cov}(X,X)=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})(x_i-\bar{x}) \tag{5}$

方差不可能是负值，而协方差可以是负值。

2.2 协方差的意义

协方差可以表示2个随机变量 $X$ 和 $Y$ 的相关性。式 $(4)$ 可以写成：

\begin{matrix} (6) & c o v (X, Y) = E [(X - E X) (Y - E Y)] \end{matrix}

$\mathrm{cov}(X,Y)=\mathrm{E}[(X-\mathrm{E}X)(Y-\mathrm{E}Y)] \tag{6}$

图中展示了随机变量 $X$ 和 $Y$ 的散点图。根据 $\mathrm{E}X$ 和 $\mathrm{E}Y$ ，可将图分为4个部分：

第一象限： $X>\mathrm{E}X,Y>\mathrm{E}Y$ ，此时 $(X-\mathrm{E}X)(Y-\mathrm{E}Y)>0$
第二象限： $X<\mathrm{E}X,Y>\mathrm{E}Y$ ，此时 $(X-\mathrm{E}X)(Y-\mathrm{E}Y)<0$
第三象限： $X<\mathrm{E}X,Y<\mathrm{E}Y$ ，此时 $(X-\mathrm{E}X)(Y-\mathrm{E}Y)>0$
第四象限： $X>\mathrm{E}X,Y<\mathrm{E}Y$ ，此时 $(X-\mathrm{E}X)(Y-\mathrm{E}Y)<0$

当点处于一、三象限时， $X$ 和 $Y$ 正相关；当点处于二、四象限时， $X$ 和 $Y$ 负相关。

协方差的几何意义是上图中红色矩形和蓝色矩形面积之差。可以看到红色部分面积占优，协方差是一个正值；而图中的散点显示 $X$ 和 $Y$ 呈正相关，因此：

$\mathrm{cov}(X,Y)>0$ ，表示 $X$ 和 $Y$ 正相关
$\mathrm{cov}(X,Y)<0$ ，表示 $X$ 和 $Y$ 负相关
$\mathrm{cov}(X,Y)=0$ ，表示 $X$ 和 $Y$ 不相关

3. 相关系数

协方差是有单位的。因此如果有3个随机变量 $X,Y,Z$ ，如果计算出了 $\mathrm{cov}(X,Y)$ 和 $\mathrm{cov}(X,Z)$ ，由于量纲的关系，无法根据协方差的大小来判断 $X$ 是 $Y$ 更相关，还是和 $Z$ 更相关。将协方差除以标准差进行标准化，此时单位已经被约掉了，就是相关系数：

\begin{matrix} (7) & ρ (X, Y) = \frac{c o v (X, Y)}{\sqrt{v a r (X) \cdot v a r (Y)}} \end{matrix}

$\rho(X,Y)=\frac{\mathrm{cov}(X,Y)}{\sqrt{\mathrm{var}(X) \cdot \mathrm{var}(Y)}} \tag{7}$

\begin{matrix} (8) & ρ (X, Z) = \frac{c o v (X, Z)}{\sqrt{v a r (X) \cdot v a r (Z)}} \end{matrix}

$\rho(X,Z)=\frac{\mathrm{cov}(X,Z)}{\sqrt{\mathrm{var}(X) \cdot \mathrm{var}(Z)}} \tag{8}$

相关系数的取值范围是 $[-1,1]$ 。比较 $\rho(X,Y)$ 和 $\rho(X,Z)$ 的大小，可以判断 $X$ 是 $Y$ 还是 $Z$ 更相关。

4. 协方差矩阵

在很多时候，样本有多个维度，此时需要考虑多个随机变量之间的关系。有n个样本 $x_1,x_2,...,x_n$ ；每个样本有 $k$ 个维度，构成一个多维随机变量 $X=(X_1, X_2, ..., X_k)^T$ 。将这 $k$ 个维度两两计算协方差，可以得到一个 $k\times k$ 的矩阵：

\begin{matrix} (9) & Σ = E [(X - E X) (X - E X)^{T}] = [\begin{matrix} c o v (X_{1}, X_{1}) & c o v (X_{1}, X_{2}) & \dots & c o v (X_{1}, X_{k}) \\ c o v (X_{2}, X_{1}) & c o v (X_{2}, X_{2}) & \dots & c o v (X_{2}, X_{k}) \\ ⋮ & ⋮ & ⋱ & ⋮ \\ c o v (X_{k}, X_{1}) & c o v (X_{k}, X_{1}) & \dots & c o v (X_{k}, X_{k}) \end{matrix}] \end{matrix}

$\Sigma =\mathrm{E}[(X-\mathrm{E}X)(X-\mathrm{E}X)^T]= \begin{bmatrix} \mathrm{cov}(X_1,X_1) & \mathrm{cov}(X_1,X_2) & \cdots & \mathrm{cov}(X_1,X_k)\\ \mathrm{cov}(X_2,X_1) & \mathrm{cov}(X_2,X_2) & \cdots & \mathrm{cov}(X_2,X_k)\\ \vdots & \vdots & \ddots & \vdots \\ \mathrm{cov}(X_k,X_1) & \mathrm{cov}(X_k,X_1) & \cdots & \mathrm{cov}(X_k,X_k) \end{bmatrix} \tag{9}$

$\Sigma$ 是即为方差-协方差矩阵，它是一个对称半正定矩阵。其中第 $m$ 维与第 $l$ 维的协方差等于：