协方差矩阵的定义及意义

协方差矩阵的定义

设一个随机向量为\(\mathbf{x} \in \mathbb{R}^\mathrm{N}\)，其均值为\(\bar{\mathbf{x}}\)，则令\(\mathbf{y} = \mathbf{x} - \bar{\mathbf{x}}\)，则随机向量\(\mathbf{x}\)的协方差定义为：

\[\Sigma_{\mathbf{x}} = \begin{bmatrix} \sigma(x_1,x_1) & \dotsb & \sigma(x_1,x_N) \\ \vdots & \ddots & \vdots \\ \sigma(x_N,x_1) & \dotsb & \sigma(x_N,x_N) \end{bmatrix} \in \mathbb{R}^{\mathrm{N} \times \mathrm{N}} \]

由于\(\sigma(x_i,x_j) = \mathrm{E}((x_i - \bar{x_i})(x_i - \bar{x_i})) = \mathrm{E}(y_i - y_j) = \sigma(y_i,y_j)\)，所以\(\Sigma_{\mathbf{x}} = \Sigma_{\mathbf{y}}\)，即：

\[\Sigma_{\mathbf{y}} = \begin{bmatrix} \sigma(y_1,y_1) & \dotsb & \sigma(y_1,y_N) \\ \vdots & \ddots & \vdots \\ \sigma(y_N,y_1) & \dotsb & \sigma(y_N,y_N) \end{bmatrix} \in \mathbb{R}^{\mathrm{N} \times \mathrm{N}} \]

另外，协方差矩阵还可以写成如下的形式：

\[\Sigma_{\mathbf{x}} = \mathrm{E}((\mathbf{x-\bar{\mathbf{x}}})(\mathbf{x-\bar{\mathbf{x}}})^{\mathrm{T}}) = \mathrm{E}(\mathbf{y}\mathbf{y}^{\mathrm{T}}) \]

此式与上述两式是等价的。各位看官可以自行证明。

协方差矩阵的意义及解释

协方差矩阵的意义及解释可见如下博客，这些博客已经写得非常好了，在此，老夫我就不再重复了。
https://zhuanlan.zhihu.com/p/37609917