最小二乘法

最小二乘

广义上来说其实是机器学习中的平方损失函数：

对应于模型 $f$ 最小二乘也相应地分为线性最小二乘和非线性最小二乘。
我们通常所讲的“最小二乘法”，其实是狭义上的“最小二乘”，指的是在线性回归下采用平方损失函数，进行线性拟合参数求解的、矩阵形式的公式方法。
线性最小二乘有闭式解，可用最小二乘法求解，也可采用迭代法（如梯度下降）求解；非线性最小二乘没有闭式解，只能采用迭代法求解。

原文链接：https://blog.csdn.net/qq_36372569/article/details/128356557

对于一元线性回归模型, 假设从总体中获取了n组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn）。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值
综合起来看，这条直线处于样本数据的中心位置最合理。选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。（残差在数理统计中是指实际值与估计值（拟合值）之间的差）
有以下三个标准可以选择：
（1）用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。
（2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。
（3）最小二乘法的原则是以**“残差平方和最小”**确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。这种方法对异常值非常敏感。