最小二乘法与梯度下降都是基于统计的思想,尽量减小样本的平方误差。
但一般而言梯度下降针对样本平均平方误差(MSE),最小二乘法针对样本总平方误差(SSE)
这里给出一个wiki的简单线性模型来进行最小二乘法的介绍:
典型的一类函数模型是线性函数模型。最简单的线性式是,写成行列式,为
直接给出该式的参数解:
其中,为t值的算术平均值。也可解得如下形式: