【数值分析】解线性方程组的迭代法

解线性方程组的迭代法

\[A\vec{x} = \vec{b} \Leftrightarrow \vec{x} = B\vec{x} + \vec{f} \]

建立迭代

\[\vec{x}^{(k+1)} = B \vec{x}^{(k)} + \vec{f} \]

B称为迭代矩阵

Jacobi迭代的矩阵形式

\[\begin{align} A\vec{x} = \vec{b} &\Leftrightarrow (D+L+U)\vec{x} = \vec{b} \nonumber\\ &\Leftrightarrow D\vec{x} = -(L+U)\vec{x}+\vec{b} \nonumber \\ &\Leftrightarrow \vec{x} = -D^{-1}(L+U)\vec{x} + D^{-1} \vec{b} \nonumber \end{align} \]

则Jacobi迭代矩阵 \(B = -D^{-1}(L+U)\) ， \(\vec{f} = D^{-1}\vec{b}\) 。

其中，D为A矩阵的对角元构成的矩阵，L为A的下三角元素（不包含对角元素）构成的矩阵，U为A的上三角元素（不包含对角元素）构成的矩阵。

迭代公式：

\[\vec{x}^{(k+1)} = -D^{-1}(L+U)\vec{x}^{(k)} + D^{-1}\vec{b} \]

Guass-Seidel迭代的矩阵形式

\[\begin{align} & \vec{x}^{(k+1)} = -D^{-1}(L\vec{x}^{(k+1)}+U\vec{x}^{(k)}) + D^{-1}\vec{b}\nonumber\\ &\Leftrightarrow (D+L)\vec{x}^{(k+1)} = -U\vec{x}^{(k)}+\vec{b} \nonumber \\ &\Leftrightarrow \vec{x}^{(k+1)} = -(D+L)^{-1}U\vec{x}^{(k)} + (D+L)^{-1} \vec{b} \nonumber \end{align} \]

则Guass-Seidel迭代矩阵 \(B = -(D+L)^{-1}U\) ， \(\vec{f} = (D+L)^{-1}\vec{b}\) 。

迭代法的收敛性

参考视频：数值分析26-线性方程组迭代法：收敛性判断（J、GS）（例题）

Jacobi迭代收敛时，Guass-Seidel有可能不收敛。
Guass-Seidel迭代收敛时，Jacobi迭代有可能不收敛。

收敛的充要条件

\[\begin{align} &设\vec{x} = B\vec{x} + \vec{f}存在唯一解，则从任意\vec{x}^{(0)}出发，迭代\vec{x}^{(k+1)} = B\vec{x}^{(k)}+\vec{f}收敛 \nonumber \\ \Leftrightarrow & \quad B^k \rightarrow 0 \nonumber \\ \Leftrightarrow & \quad \rho(B) < 1 \nonumber \end{align} \]

收敛速度R(B)

\[R(B) = -\ln\rho(B) \]

收敛的充分条件

若存在一个矩阵范数使得 \(||B|| = q < 1\) ，则迭代收敛，且有下列误差估计：

\[\begin{align} & 1. \quad ||\vec{x}^* \leq \frac{q}{1-q} || \vec{x}^{(k)} - \vec{x}^{(k-1)}|| \nonumber \\ & 2. \quad ||\vec{x}^* \leq \frac{q^k}{1-q} || \vec{x}^{(1)} - \vec{x}^{(0)}|| \nonumber \end{align} \]

因为 \(\rho(B) \leq ||B|| < 1\) ，故收敛性得证。