线性回归模型之之概率解释
2013-03-30 17:45 夜与周公 阅读(417) 评论(0) 编辑 收藏 举报上一节从最小二乘函数损失函数优化求解线性回归模型参数,本节将通过概率统计的角度求解线性回归模型参数,为最小二乘算法给出其概率上解释。
首先假设输出变量与输入变量之间存在关系:
(1)
其中,ε(i) 模型的预测值与真实值之间的噪声,我们假设预测值的噪声是随机独立的,服从分布:
(2)
因此,我们可以得到:
(3)
对于N个样本我们得到它的似然函数:
(4)
最大化对数似然函数L(Θ):
(5)
该式等于最小化:
(6)
当前这个公式正是在 ”线性回归模型之一“一文中提到的最小二乘的损失函数。