关于covariance matrix(协方差矩阵)的理解

1,离散随机变量的X的数学期望：

E(X)=∑k=1∞xkpk

 

2,方差:

研究随机变量与其均值的偏离程度，记为:

对于离散的：

D(X)=E[X−E(X)]2

3,均方差,标准差：

4,协方差的定义：

 

对于一般的分布，直接代入E(X)之类的就可以计算出来了，但真给你一个具体数值的分布，要计算协方差矩阵，根据这个公式来计算，还真不容易反应过来。这里用一个例子说明协方差矩阵是怎么计算出来的吧。

记住，X、Y是一个列向量，它表示了每种情况下每个样本可能出现的数。比如给定

 

则X表示x轴可能出现的数，Y表示y轴可能出现的。注意这里是关键，给定了4个样本，每个样本都是二维的，所以只可能有X和Y两种维度。所以

 

用中文来描述，就是：

协方差(i,j)=（第i列的所有元素-第i列的均值）*（第j列的所有元素-第j列的均值）

这里只有X,Y两列，所以得到的协方差矩阵是2x2的矩阵，下面分别求出每一个元素：

 

       所以，按照定义，给定的4个二维样本的协方差矩阵为：

 

最后,协方差矩阵都是方阵，它的维度与样本维度有关（相等）。

 

摘自: https://blog.csdn.net/qq_23869697/article/details/80610361

　　  https://blog.csdn.net/chezhai/article/details/56842517