均方误差、平方差、方差、均方差、协方差（转）

一，均方误差 
作为机器学习中常常用于损失函数的方法，均方误差频繁的出现在机器学习的各种算法中，但是由于是舶来品，又和其他的几个概念特别像，所以常常在跟他人描述的时候说成其他方法的名字。 
均方误差的数学表达为： 
 
如上图所示，通过计算每个预测值和实际值之间的差值的平方和再求平均，机器学习中它经常被用于表示预测值和实际值相差的程度。 
二，平方差 
平方差的定义很简单，顾名思义就是两个数先做平方然后再求差值： 
 
三，方差以及期望 
方差是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。其数学公式为： 

其中D(X)表示数据集X的方差，表示集合D的数学期望（即均值）：

四，标准差（均方差） 
对方差开平方就是均方差，而均方差又称标准差，即： 
 
发现没有，方差与我们要处理的数据的量纲是不一致的，虽然能很好的描述数据与均值的偏离程度，但是处理结果是不符合我们的直观思维的。 
举个例子：比如一个班男生的平均身高是170cm,标准差是10cm,那么方差就是100cm^2。可以进行的比较简便的描述是本班男生身高分布是170±10cm，方差就无法做到这点。

五，协方差 
协方差：如果随机变量X和Y的方差DX>0,DY>0成立，则称E[(X-EX)(Y-EY)]为随机变量X与Y的协方差，记为Cov(X,Y)，即： 
Cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EX*EY 
其中： 
 
可见协方差的本质上是一个期望。 
称为随机变量X,Y的相关系数，若=0 则称X与Y是不相关的，若则表示X,Y有相关性。 
COV(X,Y)是描述随机变量X与Y之间偏差关联程度的，比如研究父亲身高X与孩子身高Y之间的关系。