最小二乘法的本质是什么？

来看一个生活中的例子。比如说，有五把尺子：

用它们来分别测量一线段的长度，得到的数值分别为（颜色指不同的尺子）：

之所以出现不同的值可能因为：

不同厂家的尺子的生产精度不同
尺子材质不同，热胀冷缩不一样
测量的时候心情起伏不定

日常中就是这么使用的，可是作为很事的数学爱好者，自然要想下：

• 这样做有道理吗？
• 用调和平均数行不行？
• 用中位数行不行？
• 用几何平均数行不行？

2 最小二乘法
换一种思路来思考刚才的问题。
首先，把测试的得到的值画在笛卡尔坐标系中，分别记作yi

其次，把要猜测的线段长度的真实值用平行于横轴的直线来表示（因为是猜测的，所以用虚线来画），记作y ：

尺子测出来的值就是目标值，故函数y=x

这个猜想也蛮符合直觉的，来算一下。

这是一个二次函数，对其求导，导数为0的时候取得最小值：

最小二乘法，所谓“二乘”就是平方的意思，台湾直接翻译为最小平方法。

完整链接https://www.zhihu.com/question/37031188