最小二乘法

前言

最小二乘法问题其实就是矩阵方程如何求解问题

\[Ax=b \]

对x进行求解，在理论上是可行的，但在工程中，等式不一定成立，即$ Ax \neq b$。

因为任何传感器都有自己的精度限制，所以采集到的数据自然而然的会有噪声，因此上式很难在工程中完全成立，但是我们也希望它有一个最接近于真实值的解，最小二乘法就是解决这个问题的。

符号：

• A: 数据矩阵
• b：数据向量
• \(\breve{x}\): 先验解

普通最小二乘法(LS)

假设数据向量b中含有噪声或误差，引入校正向量\(\Delta b\),则有

\[Ax=b +\Delta{b} \]

加入校正向量\(\Delta{b}\),使上式等式完全成立。

上式中A和b是传感器测出来的数据量，是已知的。未知量有两个\(x\)和\(\Delta b\) ，我们可以将其关系表达为\(\Delta{b}=f(x)\).

提醒一点：校正是为了消除误差，所以\(e=-\Delta{b}\).

当误差越小，解出来的x越接近真实值,构建代价函数：

\[J(x)=||Ax-b||^2_2 \]

\(\therefore\)

\[x=\mathop{argmin}_{x}||Ax-b||^2_2 \]

若想求出x，\(\frac{d J(x)}{d x}=0\)

\[\breve{x}_{LS}=(A^TA)^{-1}A^Tb \]

数据最小二乘法(DLS)

假设数据矩阵A中含有误差，引入校正向量\(\Delta {A}\),则有

\[(A+\Delta{A})x=b \]

代价函数为

\[J(x)=||\Delta{A}||^2_2=tr(\Delta{A}\Delta{A}^T) \]

同时数据最小二乘法也可以被表示为一个最优化问题：

\[\breve{x}=\mathop{argmax}_{x}J(x) \\ st.\quad (A+ \Delta{A})x=b \]

利用Language乘子法，将约束问题转变为无约束问题

\[min L(x)=tr(\Delta{A}\Delta{A}^T)+\lambda^T(Ax+\Delta{A}x-b) \]

因此\(\frac{\partial{L(x)}}{\partial{\Delta{A}^T}}=0\)

\[\breve{x}_{DLS}=\mathop{argmin}_{x}\frac{(Ax-b)^T (Ax-b)}{x^Tx} \]

Tikhonov正则化

在工程应用中，矩阵A往往是秩亏缺的。在这些情况下，\(\breve{x}=A^{-1}b\)或者\(\breve{x}=(A^TA)^{-1}A^Tb\)要么发散，要么即使存在，也只是对x的质量很差的逼近。

原因是出在数据矩阵的协方差矩阵\(A^TA\)的求逆上。

当数据矩阵秩亏缺时候，增加正则化化参数\(\lambda\),改进代价函数J(x)：

\[J(x)=\frac{1}{2}(||Ax-b||^2_2+\lambda||x||^2_2) \]

当\(\frac{\partial J(x)}{\partial x^T}=0\)

\[\breve{x}_{tik}=(A^TA+\lambda I)^{-1}A^Tb \]

这种使用\((A^TA+\lambda I)^{-1}\)代替协方差矩阵求逆\((A^TA)^{-1}\)的方法叫做Tikhonov正则化(Tikhonov regularization).

本质：通过对秩缺亏的矩阵A的协方差矩阵(\(A^TA\))的每一个对角元素加入一个很小的扰动\(\lambda\),使得奇异矩阵(\(A^TA\))的求逆变成非奇异矩阵\((A^TA+\lambda I)\)的求逆，从而改善求解秩亏缺矩阵方程\(Ax=b\)的数值稳定性。

迭代Tikhonov正则化

令初始解向量\(x_0=0\)和初始残差向量\(r_0=b\),则解向量和残差向量可以用以下迭代公式进行更新

\[\begin{align} x_k&=x_{k-1}+(A^TA+\lambda I)^{-1}A^Tr_{k-1}\\ r_k&=b-Ax_k \end{align} \]

令\(A=U \Sigma V^T\)是矩阵A的奇异值分解，则\(A^TA=V \Sigma^2 V^T\),从而得普通最小二乘法和Tikhonov正则化解分为

\[\begin{align} \breve{x}_{LS} &= (A^TA)^{-1}A^Tb=V\Sigma^{-1}U^Tb\\ \breve{x}_{Tik}&=(A^TA+\sigma_{min}^2I)^{-1}A^Tb=V(\Sigma^2+\sigma_{min}^2I)^{-1}\Sigma U^T b \end{align} \]

正则Gauss-Seidel法

【解线性方程组】定常迭代：Jacobi法、Gauss-Seidel(多图附算法) - 知乎 (zhihu.com)

没太懂！！！暂时空白

总体最小二乘法(TLS)

当数据矩阵和数据向量都含有误差时：

\[(A+\Delta A)x=b+\Delta{b} \]

我们自然而然希望校正数据矩阵\(\Delta{A}\)和\(\Delta{b}\)都尽可能的小。因此总体最小二乘法可以用约束问题表示：

\[\mathop{min}_{\Delta A ,\Delta b,x}||[\Delta A,\Delta b]||^2_2=||\Delta A||^2_2 +||\Delta b||^2_2\\ st. \quad (A+\Delta A)x=b+\Delta{b} \]

原矩阵方程可以改为：

\[([A,b]+[\Delta A,\Delta b])\begin{bmatrix}x \\ -1 \end{bmatrix}=0 \]

所以设增光数据矩阵\(B=[A,b]\),\(D=[\Delta A,\Delta b]\)和\(z=[x,-1]^T\),上式等于

\[(B+D)z=0 \]

解

\[\mathop{min}_x J(x)=\frac{z^T B^T B z}{z^T z}=\frac{||Ax-b||^2_2}{||x||^2_2+1} \]

参考

[1] <矩阵分析与应用>--张贤达