高斯牛顿相关，为了说明上一篇ICP NDT精度问题

伟大的大数学家泰勒

泰勒公式，是一个用函数在某点的信息描述其附近取值的公式。如果函数满足一定的条件，泰勒公式可以用函数在某一点的各阶导数值做系数构建一个多项式来近似表达这个函数。
它最重要的贡献就是将复杂问题简单化，将非线性问题转换为线性问题，这样我们对于线性问题的多种求解方式便可以大显身手，这是一种将未知问题转换为已知问题又不丢失太大精度的思想！

超定方程的求解

当问题的已知条件/约束/等式量达不到代求解问题维数的时候，自然无法求解，只有两把钥匙却要打开多把锁？
现在我们来把锁全部打开
首先，我们将问题记为Ax=b，其中x和b都是多维（n维）的，我们约束只有极少维度（m，m<n）
这个世界上有千千万万把钥匙，现在我们拿来多把可能会打开对应锁的钥匙x1
这个时候开锁的程度记为r，r=b-Ax1，我们只要找到最可能打开的几把钥匙就好了（极为相似的钥匙也可以打开同一把锁——配钥匙就是找近似解）
配钥匙的方法就是最小二乘，即r²的导数为0，此时构建了f(x)=(Ax1-b)²的问题，求导得A(Ax-b)=0，可得即可解得
求最小二乘的一种方法是进行SVD分解

更优解、更精确解的方式

牛顿法

首先泰勒展开，忽略二阶以上的项

然后令导数等于0

其中多维一阶导为称为雅克比矩阵记为J，多维二阶导记为H，得到

高斯牛顿法

优化问题

增量最优

一阶泰勒近似

导数为零

解得

记则有

伟大的拉格朗日

引入一个新的参数 λ （即拉格朗日乘子），将约束条件函数与原函数联系到一起
将约束条件乘以λ加入原函数中，在约束条件不满足的情况下是不可能达到最优的，这种扰动可以使求解问题更快收敛。
题外话：另外对于有k个约束问题的最优化求解，拉格朗日乘子的加入可以增加方程数量以减少不定数量使方程更易求解，是一种过拟合更快求最优的思想

最常用的求精确解方式方法Levenberg-Marquardt

带约束的求解问题

构建拉格朗日乘子方程

同样的一阶近似然后对待求量x求导，令其为零
最终得到

图解一阶牛顿法

拟牛顿法是用Hessian矩阵的逆矩阵来代替Hessian矩阵
一阶牛顿法（一维实根f（x）=0）：
以上的图为实根大多数还是非实根的，上述是最简单最简单的牛顿法原理，方便理解，各参数量对应的图形用色彩标记过了，正方向也标记了
一阶泰勒展开近似
求导令其为零即可得到

二阶导记为H 海塞（Hessian）矩阵