【数值分析】解线性方程组的迭代法

解线性方程组的迭代法

$$A\overrightarrow{x}=\overrightarrow{b}\iff \overrightarrow{x}=B\overrightarrow{x}+\overrightarrow{f}$$

建立迭代

$${\overrightarrow{x}}^{(k+1)}=B{\overrightarrow{x}}^{(k)}+\overrightarrow{f}$$

B称为迭代矩阵

Jacobi迭代的矩阵形式

$$\begin{array}{rl}A\overrightarrow{x}=\overrightarrow{b}& \iff (D+L+U)\overrightarrow{x}=\overrightarrow{b}\\ & \iff D\overrightarrow{x}=-(L+U)\overrightarrow{x}+\overrightarrow{b}\\ & \iff \overrightarrow{x}=-D^{-1}(L+U)\overrightarrow{x}+D^{-1}\overrightarrow{b}\end{array}$$

则Jacobi迭代矩阵 $B=-D^{-1}(L+U)$ ， $\overrightarrow{f}=D^{-1}\overrightarrow{b}$ 。

其中，D为A矩阵的对角元构成的矩阵，L为A的下三角元素（不包含对角元素）构成的矩阵，U为A的上三角元素（不包含对角元素）构成的矩阵。

迭代公式：

$${\overrightarrow{x}}^{(k+1)}=-D^{-1}(L+U){\overrightarrow{x}}^{(k)}+D^{-1}\overrightarrow{b}$$

Guass-Seidel迭代的矩阵形式

$$\begin{array}{rl}& {\overrightarrow{x}}^{(k+1)}=-D^{-1}(L{\overrightarrow{x}}^{(k+1)}+U{\overrightarrow{x}}^{(k)})+D^{-1}\overrightarrow{b}\\ & \iff (D+L){\overrightarrow{x}}^{(k+1)}=-U{\overrightarrow{x}}^{(k)}+\overrightarrow{b}\\ & \iff {\overrightarrow{x}}^{(k+1)}=-(D+L{)}^{-1}U{\overrightarrow{x}}^{(k)}+(D+L{)}^{-1}\overrightarrow{b}\end{array}$$

则Guass-Seidel迭代矩阵 $B=-(D+L{)}^{-1}U$ ， $\overrightarrow{f}=(D+L{)}^{-1}\overrightarrow{b}$ 。

迭代法的收敛性

参考视频：数值分析26-线性方程组迭代法：收敛性判断（J、GS）（例题）

Jacobi迭代收敛时，Guass-Seidel有可能不收敛。
Guass-Seidel迭代收敛时，Jacobi迭代有可能不收敛。

收敛的充要条件

$$\begin{array}{rl}& \mathrm{设}\overrightarrow{x}=B\overrightarrow{x}+\overrightarrow{f}\mathrm{存}\mathrm{在}\mathrm{唯}\mathrm{一}\mathrm{解}，\mathrm{则}\mathrm{从}\mathrm{任}\mathrm{意}{\overrightarrow{x}}^{(0)}\mathrm{出}\mathrm{发}，\mathrm{迭}\mathrm{代}{\overrightarrow{x}}^{(k+1)}=B{\overrightarrow{x}}^{(k)}+\overrightarrow{f}\mathrm{收}\mathrm{敛}\\ \iff & B^k\to 0\\ \iff & \rho (B)<1\end{array}$$

收敛速度R(B)

$$R(B)=-\ln \rho (B)$$

收敛的充分条件

若存在一个矩阵范数使得 $||B||=q<1$ ，则迭代收敛，且有下列误差估计：

$$\begin{array}{rl}& 1.||{\overrightarrow{x}}^{\ast }\le \frac{q}{1-q}||{\overrightarrow{x}}^{(k)}-{\overrightarrow{x}}^{(k-1)}||\\ & 2.||{\overrightarrow{x}}^{\ast }\le \frac{q^k}{1-q}||{\overrightarrow{x}}^{(1)}-{\overrightarrow{x}}^{(0)}||\end{array}$$

因为 $\rho (B)\le ||B||<1$ ，故收敛性得证。