最小二乘直线拟合

最小二乘法（英文：least square method)是一种常用的数学优化方法，所谓二乘就是平方的意思。这平方一词指的是在拟合一个函数的时候，通过最小化误差的平方来确定最佳的匹配函数，所以最小二乘、最小平方指的就是拟合的误差平方达到最小。

推导过程

问题

以直线拟合为例，已知有一组平面上的点集：$（x_1,y_1）, (x_2,y_2), ... (x_n,y_n)$ 。
基于这些点拟合一条直线，设直线方程为： $y=ax+b$
那么算法的输入就是这些点集，需要求取的为直线方程的参数$a,b$。

这些点距离直线的平方偏差之和为

$$S_\epsilon^2=\sum_{i=1}^{n}(y_i-y)^2 = \sum_{i=1}^{n}(y_i - (ax_i+b))^2$$

以上公式已知的是$x_i,y_i$, 未知且要求取的是$a、b$。

不同的$a、b$会得到不同的$S_\epsilon^2$，求取的是在$S_\epsilon^2$最小的时候求取$a、b$。

多元函数的极值与最值问题

这是一个二元$a,b$函数,此问题实际上就是多元函数的极值与最值问题，要求解函数极值时二元变量数值，这里要用到二元函数取极值的必要条件,即下面这个定理。

那么对 $S_\epsilon^2$ 求偏导且使得偏导为0，此时 $S_\epsilon^2$ 取得极值点最小值:

下面公式已知的是$x_i,y_i$, 未知且要求取的是$a、b$。

$$\begin{aligned} \frac{\partial }{\partial a} S_\epsilon^2 = \frac{\partial }{\partial a} \sum_{i=1}^{n}(y_i - (ax_i+b))^2 = 0 \newline \frac{\partial }{\partial b} S_\epsilon^2 = \frac{\partial }{\partial b} \sum_{i=1}^{n}(y_i - (ax_i+b))^2 = 0 \end{aligned}$$

求偏导过程

这里主要用到下面几个求导规则

加减规则

函数 $f(x) \pm g(x)$ 的导数 $f'(x) \pm g'(x)$ 所以 $\sum$ 可以直接拆解。

$$\frac{\partial }{\partial b} \sum_{i=1}^{n}(y_i - (ax_i+b))^2 = \frac{\partial }{\partial b}[(y_0 - (ax_0+b))^2 ] + \frac{\partial }{\partial b}[(y_1 - (ax_1+b))^2 ] + ... + \frac{\partial }{\partial b} [(y_n - (ax_n+b))^2]$$

后面我们只需要看相加的每一项

乘法规则

函数 $f(x)*g(x)$ 的导数等于 $f'(x)*g(x)+f(x)*g'(x)$

所以

$$\frac{\partial }{\partial b} [(y_i - (ax_i+b))^2] = \frac{\partial [y_i - (ax_i+b)]}{\partial b} *(y_i - (ax_i+b)) + (y_i - (ax_i+b)) * \frac{\partial (y_i - (ax_i+b))}{\partial b} = 2 (y_i - (ax_i+b)) * \frac{\partial {(y_i - (ax_i+b))}}{\partial b}$$

常量导数是0，一元函数导数是斜率

下面公式 $x_i,y_i$ 是常数；
由于是求$b$的偏导数，$a$也认为是常数；

$$\frac{\partial {(y_i - (ax_i+b))}}{\partial b} = \frac{\partial y_i}{\partial b} - \frac{\partial ax_i}{\partial b} - \frac{\partial b}{\partial b} = 0 - 0 - 1 = -1$$

如果是求 $a$的偏导数，$b$认为是常数；

$$\frac{\partial {(y_i - (ax_i+b))}}{\partial a} = \frac{\partial y_i}{\partial a} - \frac{\partial ax_i}{\partial a} - \frac{\partial b}{\partial a} = 0 - x_i - 0 = -x_i$$

基于上面的推理，我们可以得出

$$\begin{aligned} \frac{\partial }{\partial a} S_\epsilon^2 = \sum_{i=1}^{n}(y_i - (ax_i+b))*(-x_i) = 0 \newline \frac{\partial }{\partial b} S_\epsilon^2 = \sum_{i=1}^{n}(y_i - (ax_i+b))*(-1) = 0 \end{aligned}$$

求 $a,b$ 的值

继续往下推，我们可以得到

$$\begin{aligned} (\sum_{i=1}^{n}x_i^2)* a + (\sum_{i=1}^{n}x_i)*b = \sum_{i=1}^{n}x_i*y_i \newline (\sum_{i=1}^{n}x_i)* a + n*b = \sum_{i=1}^{n}y_i \end{aligned}$$

参考: 最小二乘直线拟合

从上面，我们可以推理出 $a,b$的值

$$\begin{aligned} a = \frac {n*(\sum x_iy_i) - (\sum x_i)*(\sum y_i) } {n * (\sum x_i^2) - (\sum x_i)^2} \newline b = \frac {(\sum x_i^2)*(\sum y_i) - (\sum x_i)*(\sum x_i y_i) } {n * (\sum x_i^2) - (\sum x_i)^2} \end{aligned}$$

参考：最小二乘法拟合直线

这样实际计算时，我们只需要计算出

$$\begin{aligned} t1 = \sum x_i \newline t2 = \sum y_i \newline t3 = \sum x_iy_i \newline t4 = \sum x_i^2 \newline a = \frac { n*t3 - t1*t2} {n*t4 - t1^2} \newline b = \frac { t4*t2 - t1* t3 } {n*t4 - t1^2} \end{aligned}$$