最小二乘法与梯度下降

最小二乘法与梯度下降都是基于统计的思想，尽量减小样本的平方误差。

但一般而言梯度下降针对样本平均平方误差（MSE），最小二乘法针对样本总平方误差（SSE）

这里给出一个wiki的简单线性模型来进行最小二乘法的介绍：

线性函数模型

典型的一类函数模型是线性函数模型。最简单的线性式是y = x_0 + x_1 t，写成行列式，为

\min_{x_0,x_1}\left\|\begin{pmatrix}1 & t_1 \\ \vdots & \vdots \\ 1 & t_n \end{pmatrix} \begin{pmatrix} x_0\\ x_1\end{pmatrix} - \begin{pmatrix} y_1 \\ \vdots \\ y_{n}\end{pmatrix}\right\|_{2} = \min_x\|Ax-b\|_2.

直接给出该式的参数解：

x_1 = \frac{\sum_{i=1}^n t_iy_i - n \cdot \bar t \bar y}{\sum_{i=1}^n t_i^2- n \cdot (\bar t)^2} 和 x_0 = \bar y - x_1 \bar t

其中\bar t = \frac{1}{n} \sum_{i=1}^n t_i，为t值的算术平均值。也可解得如下形式：

x_1 = \frac{\sum_{i=1}^n (t_i - \bar t)(y_i - \bar y)}{\sum_{i=1}^n (t_i - \bar t)^2}
posted @ 2012-05-31 23:43  Alexzen  阅读(1003)  评论(0)  编辑  收藏  举报