协方差矩阵(基础知识)

参考来源：http://pinkyjie.com/2010/08/31/covariance/

我们知道标准差、均值等是用于描述数据的分布情况，但是这些大多用于一维数据，然而现实生活中会碰到各类多维数据，那么这时候则会涉及到协方差的概念，用于描述两个随机变量的关系，其在单个维度的方差定义表示如下：

各维度与均值的偏离程度则可以如下表示：

若数据集有{x,y,z}三个维度，那么协方差矩阵可以表示为：

可以发现协方差矩阵是一个对称的矩阵，且对角线上的值为每个维度的方差。

协方差矩阵的性质：

参考：https://www.zhihu.com/question/24283387

作为实对称矩阵，主要性质之一就是可以正交对角化，即存在正交矩阵U，使得，作为半正定矩阵，我们可以对协方差矩阵进行Cholesky分解：半正定矩阵Σ,可以分解为,其中U是上三角阵，Λ是对角元素都非负的对角矩阵，因而上式子可以分解为：

将上式转化为，其中设