协方差矩阵

转自：

http://www.cnitblog.com/luckydmz/archive/2011/07/05/74562.aspx

首先一个维随机变量的均值记为E[X]
两个随机变量的协方差定义为cov(X,Y) = E[(X-E[X])(Y-E[Y])]
两个随机向量的协方差矩阵由随机向量分量间的协方差定义而成。
协方差矩阵元素Aij = cov(Xi,Yj)
协方差矩阵的阶=随机向量的维数，而与随机向量的个数无关。
协方差矩阵是对称矩阵。
其主对角线元素为点的各个分量的方差，可以反映点集在各个轴向的离散程度。
其他元素反映了不同分量的相关性，当两个分量距各自均值发生同向偏离时，协方差（即相应的协方差矩阵元素）趋向正值，当两个分量距各自均值发生异向偏离时，协方差趋向负值。
通过计算协方差矩阵的特征值和特征向量，可以反映出点集离散的主要方向。若特征向量为最大特征向量，则特征值即为沿着该轴的顶点数据具有的最大方差值；若特征向量为最小特征向量，则特征值即为沿着该轴的顶点数据具有的最小方差值。