最小二乘法的概率解释-最大似然方法

对于常规线性模型来说，其精确的模型可定义如下：

其中，模型中的第一部分描述了通过待预测值随自变量的变化趋势，而第二部分描述了线性模型不能建模的误差项。

最小二乘方法采用损失代价和最小来获得线性模型的参数。在此，我们通过假设误差项的概率分布，并用最大似然估计的方法寻求模型参数Θ。

在此，我们假设误差项ε是独立同分布的，并且符合均值为0的高斯分布，即：

则，待预测值也服从均值为的高斯分布：

上式可理解为当给定X，Θ时，待预测值y的概率分布，我们同时也可以给出Θ的似然函数：

由于不同观测点的误差项服从独立同分布，因此整体似然函数可写为：

根据最大似然估计的思想，求似然值的log最大化，可得：

即为：

 

 

注：在此主要用到了最大似然估计的知识，并且给定了前提，即误差项服从独立高斯同分布。

关于最大似然估计，这里有一个讲的非常好的文章。http://blog.csdn.net/yanqingan/article/details/6125812