线性回归之最小二乘法

数 学 老 师 不 给 窝 推 式 子 窝 要 疯 了 啊 啊 啊 ！

最小二乘法，又称最小平方法，是一种优化方法。

可以通过求目标函数最值、解决曲线拟合问题来最终解决回归问题。

回归问题，就是对于一组数据，画出散点图后$(x_i,y_i)$，寻找一个函数$f(x)$使$Q=\sum_{i=1}^{n}(y_i-f(x_i))^2$最小，

即最小化误差的平方和。

这里以线性模型为例(因为高中数学就讲线性模型)

$y_i=kx_i+b+e_i$，其中$e_i$就是这个点所造成的误差。

$e_i=y_i-b-kx_i$

其中我们的目标就是最小化:

$Q=\sum_{i=1}^n e^2 = \sum_{i=1}^n(y_i-b-kx_i)^2$

做法就是，

对于$b,k$分别求偏导，得到

$$ 
\left\{
\begin{array}{}
\frac{\partial Q}{\partial b } & = & 2 \sum_{i=1}^n &(b+kx_i-y_i) & = & 0 \\
\frac{\partial Q}{\partial k } & = & 2 \sum_{i=1}^n &x_i(b+kx_i-y_i) & = & 0 \\
\end{array}
\right.$$

然后就是导数$=0$的时候是最值。

这样就解一个二元一次方程组就能得到结果了。