【矩阵基础与维度分析】【公式细节推导】矩阵非线性最小二乘法泰勒展开
最小二乘法的一般形式
\(f_i\)为某一时刻的误差 比如预测值与预测值的差值
将残差写成向量的形式
和上面的\(F\)相比 每个\(f\)计算的还是某一时刻的误差 将全部的误差求平方再求和 就相当于它的转置乘以它本身 即：
\[F(X) = f^T(X)f(X)
\]
所以有如下等式
则它的雅克比矩阵为：
这里每个雅克比矩阵的维度都为\(1 \times n\)
最小二乘泰勒展开
单项展开
整体展开
上述步骤更具体一些
第一行后面到第二行推导：
\[\frac {1}{2}f^Tf + f^TJ\Delta x + (J\Delta x)^Tf + (J\Delta x)^TJ\Delta x =
\frac {1}{2}f^Tf + f^TJ\Delta x + \Delta x^T J^Tf + \Delta x^TJ^TJ\Delta x
\]
这里进行一下维度分析：
f为某一时刻确定的误差值 所以是标量
\[f:1 \times 1
\]
J参照上面的那个J的维度分析：
\[J: 1 \times n
\]
\(\Delta x\)为增加量 这里为列向量
\[\Delta x:n \times 1
\]
所以可得以下结论：
- \(f\)为标量
- \(J \Delta x\)为标量
- \(J^T \Delta x^T\)为标量
所以有：
\[f^TJ\Delta x = (J\Delta x)^Tf = \Delta x^TJ^Tf
\]
维度分析对于矩阵运算很重要
