《最优化导论》-12求解线性方程组

1.最小二乘分析

1.1最小向量求解

1）几何分析：

2）求导

2.递推最小二乘法

对不断加入的新的数据，更新参数。

某个问题是寻找合适的x让最小，用前面的可以求得x*。如果增加了新的数据，用A1和b1表示，那么现在整个问题就变成了寻找x，使得：

最小。

分析：

这样，通过原来的数据，和新加入的数据，就可以得到新的x(1)了，这样只需要在原来的基础上计算，就可以得到新参数，而不必重新计算。

递推公式：

这样每次还是需要计算逆，定理12.2：

这样只需要计算一次逆，以后可以通过前面的递推出来。

4.Kaczmarz算法

Kaczmarz算法可以避免计算AAT逆矩阵下，收敛到

5.伪逆矩阵

左伪逆：

右伪逆: