最小二乘

最开始接触最小二乘是在高中的数学课上。现在回过头看，高中初中的数学应该叫应用数学，只应用定理，缺乏证明，缺乏公理化体系。

大学本科，我选择了计算机专业。在概率论与数理统计课程上，我再次见到了最小二乘。不过，这一章老师没有讲。

假设有一些x，每个x对应一个y。现在有一个新的x，它应该对应怎样的y？

用 x对应的y的期望 这个函数y=E（x）。

得到最小二乘的公式，（E（x）-y）^2最小。

雅可比矩阵等于0时，最优化目标取极值。然而对于并非线性的函数，这个方程组解不出解析解。

求不了解析解就求数值解。我们用的算法叫LM算法。是一个预先规定迭代次数的迭代算法。