机器学习-基础算法最小二乘回归

线性回归——最小二乘回归

      统计回归方法之一，通过最小化误差的平方进行最佳匹配。

如图

             设一元线性函数为y=a₀+a₁x

            则有y'=a₀+a₁x+ε，其中y为真实值，y‘为预测值，a₀为截距，a₁为斜率，ε为误差

           

若使真实值与预测值相差最小，即使∑ε最小，有min∑ε

这里我们考虑如下情况：

        若y=1 y'=2；y=2  y'=1    则有∑ε=0

发现ε存在正负值，需要进行处理，在此我们先考虑加绝对值

加上绝对值后确实解决了上述问题，但是面临另一个问题即去掉绝对值相对麻烦

我们考虑平方，为减少计算量，二次方即可。

即有：

需要求解在L最小情况下的 a_0、a₁，即分别对 a_0、a₁求解偏导令偏导函数为0，求解a_0、a₁。

对a₀求偏导，有：

 对a₁求偏导，有：

令a₀偏导为0，有：

令a₁偏导为0，有：

 

                                                                                          

由此，我们可知在L最小时：

回归学习最常用的损失函数是平方损失函数，因此最小二乘回归使解决问题的常用且有效算法。