线性方程组的古典迭代解法

目录

• 单步线性定常迭代法
  • Jacobi 迭代法
  • Gauss-Seidel 迭代法
  • 单步线性定常迭代法
• 收敛性理论
• 收敛速度
• 超松弛迭代法

 

单步线性定常迭代法

Jacobi 迭代法

考虑非奇异线性方程组 \(Ax = b\) ，令

\[A = D - L - U,\quad D = \mathrm{diag}(a_{11},a_{22},\cdots,a_{nn}) \]

其中 \(L,U\) 分别为对角线为 \(0\) 的下三角阵和上三角阵，则有

\[x = Bx+g,\quad B = D^{-1}(L+U),\ g = D^{-1}b \]

于是我们有迭代公式

\[x_k = Bx_{k-1} + g,\quad k=1,2,\cdots \]

其中 \(B\) 为迭代矩阵， \(g\) 为常数项.

 

Gauss-Seidel 迭代法

注意到 Jacobi 迭代法中各分量的计算顺序无关，先算哪个分量都一样。我们考虑每计算一个分量，就直接用算出的分量替代原先的分量

\[x_k = D^{-1}Lx_k + D^{-1}Ux_{k-1} + g,\quad k=1,2,\cdots \]

这是由于下三角阵总是作用于前面算出的分量，上三角阵作用于还未计算的分量；简称为 G-S 迭代法，它的优势在于节省空间.

如果 \((D-L)^{-1}\) 存在，则有

\[x_k = (D-L)^{-1}Ux_{k-1} + (D-L)^{-1}b \]

我们将 \(L_1 = (D-L)^{-1}U\) 称为迭代矩阵， \((D-L)^{-1}b\) 称为常数项.

 

单步线性定常迭代法

注意到上述迭代法均有形式

\[x_k = Mx_{k-1} + g,\quad k=1,2,\cdots \]

这类迭代法就称为单步线性定常迭代法。如果任意初始向量迭代都有极限，则称该迭代法收敛；设有极限 \(x_*\) ，则

\[x_* = Mx_* + g,\quad (I-M)x_* = g \]

得到它是该线性方程组的解，但我们又有 \(Ax = b\) ，则若存在 \(G\in\mathbb{R}^{n\times n}\) 可逆，使得

\[G(I-M) = A,\quad Gg = b \]

则它们等价，称迭代法与线性方程组相容.

 

收敛性理论

设 \(x_*\) 为方程组 \(Ax = b\) 的解，定义

\[y_k = x_k - x_*,\quad k=1,2,\cdots \]

称为 \(x_k\) 的误差向量，则有

\[y_k = M^ky_0,\quad k=1,2,\cdots \]

从而我们有

引理 4.2.1 迭代法收敛当且仅当 \(M^k\to 0\) .

定理 4.2.1 迭代法收敛当且仅当 \(\rho(M) < 1\) .

 

定理 4.2.2 若迭代矩阵 \(M\) 满足 \(\|M\|=q<1\) ，则迭代法的近似解 \(x_k\) 与准确解 \(x_*\) 的误差有估计

\[\|x_k-x_*\| \le \dfrac{q^k}{1-q}\|x_1-x_0\| \]

证明 对 \(y_k = M^ky_0\) 利用范数的不等式易得.

 

定理 4.2.3 若迭代矩阵 M 满足 \(\|M\|=q<1\) ，则迭代法的近似解 \(x_k\) 与准确解 \(x_*\) 的误差有估计

\[\|x_k-x_*\| \le \dfrac{q}{1-q}\|x_{k-1}-x_{k}\| \]

证明 对 \(y_k = M^ky_0\) 利用范数的不等式易得；此定理表明我们可以通过判断相邻两次迭代的差范数确定是否达到精度.

 

定理 4.2.6 若 \(A\) 对称，且对角元为正，则 Jacobi 迭代法收敛当且仅当 \(A\) 和 \(2D-A\) 正定.

证明 迭代矩阵 \(B = D^{-1}(L+U) = D^{-1}(D-A) = I-D^{-1}A\) ，又对角元均正，则

\[B = I-D^{-1}A = D^{-\frac{1}{2}}\left(I-D^{-\frac{1}{2}}AD^{-\frac{1}{2}}\right)D^{-\frac{1}{2}} \]

由对称性，则 \(I-D^{-\frac{1}{2}}AD^{-\frac{1}{2}}\) 也对称，且与 \(B\) 相似，故有相同特征值，因而 \(B\) 有实特征值。并且

\[I-B = D^{-\frac{1}{2}}\left(D^{-\frac{1}{2}}AD^{-\frac{1}{2}}\right)D^{-\frac{1}{2}},\quad I + B = D^{-\frac{1}{2}}\left(2I-D^{-\frac{1}{2}}AD^{-\frac{1}{2}}\right)D^{-\frac{1}{2}} \]

注意到特征值满足关于对角线的性质：若 \(\lambda\) 是 \(B\) 的特征值，则 \(1-\lambda\) 是 \(I-B\) 的特征值，类似的 \(1+\lambda\) 是 \(I+B\) 的特征值。又我们知道迭代法收敛当且仅当 \(\rho(B) < 1\) ，即 \(I-B,\ I+B\) 特征值均为正实数，而

\[2I-D^{-\frac{1}{2}}AD^{-\frac{1}{2}} = D^{-\frac{1}{2}}(2D-A)D^{-\frac{1}{2}} \]

这意味着 \(A,\ 2D-A\) 均正定.

 

定理 4.2.7 若 \(A\) 对称正定，则 G-S 迭代法收敛.

 

定义 4.2.1 设 \(A\in\mathbb{R}^{n\times n}\) 满足

\[|a_{ii}| \ge \sum_{j=1;j\neq i}^n|a_{ij}|,\quad i=1,\cdots n \]

并且上式至少对一个 \(i\) 严格成立，则称 \(A\) 弱严格对角占优；若上式对所有 \(i\) 严格成立，则称 \(A\) 严格对角占优.

 

定义 4.2.2 设 \(A\in\mathbb{R}^{n\times n}\) ，若有排列方阵 \(P\) 使得

\[PAP^T = \left( \begin{matrix} A_{11} & 0\\ A_{12} & A_{22} \end{matrix} \right) \]

其中 $A_{11} $ 是 \(r\) 阶方阵， \(A_{22}\) 是 \(n-r\) 阶方阵，则称 \(A\) 可约或可分，否则称为不可约或不可分.

此定义说明只通过交换行列，就可以将 \(A\) 分块，从而简化求解

\[Ax=b\ \Leftrightarrow\ PAP^TPx = Pb \]

将高阶方程简化为低阶方程求解；

等价地，若 \(\mathcal{W} = \{1,\cdots,n\}\) ，存在非空子集 \(\mathcal{S},\ \mathcal{T}\) 满足

\[\mathcal{S}\cup\mathcal{T} = \mathcal{W},\quad \mathcal{S}\cap\mathcal{T} = \empty\ \Rightarrow\ a_{ij} = 0,\ i\in\mathcal{S},\ j\in\mathcal{T} \]

则称 \(A\) 可约.

如果一个不可约矩阵弱严格对角占优，则称该矩阵不可约对角占优.

 

定理 4.2.8 若 \(A\) 严格对角占优或不可约对角占优，则 \(A\) 非奇异.

 

推论 4.2.1 若对称阵 \(A\) 严格对角占优或不可约对角占优，且 \(A\) 对角元均正，则 \(A\) 正定.

证明 对任意的 \(A-\lambda I,\ \lambda\le 0\) ，它仍然严格对角占优或不可约对角占优，因而非奇异，即 \(|A-\lambda I|\neq 0,\ \lambda\le 0\) ，故 \(A\) 特征值均正.

 

定理 4.2.9 若 \(A\) 严格对角占优或不可约对角占优，则 Jacobi 迭代法和 G-S 迭代法收敛.

证明 不可约对角占优时，若有 \(|a_{ii}|=0\) ，则该行为 \(0\) ，但由上述定理 \(A\) 可逆，矛盾，则显然 \(|a_{ii}|>0\) ， \(D\) 可逆；

下证 \(\rho(B) < 1\) ，考虑 \(|\lambda|\ge 1\) ，则

\[\lambda I-B = \lambda I - D^{-1}(L+U) = D^{-1}(\lambda D-L-U) \]

注意到 \(\lambda D - L - U\) 严格对角占优或不可约对角占优，故非奇异，因此 \(B\) 的特征值绝对值不大于 \(1\) ， Jacobi 迭代法收敛.

 

收敛速度

由于 \(y_k = M^ky_0\) ，则 \(\|y_k\|\le \left\|M^k\right\|\|y_0\|\) ，定义

\[R_k(M) = -\dfrac{\ln \left\|M^k\right\|}{k} \]

并称其为 \(k\) 次迭代的平均收敛速度.

自然考虑

\[R_{\infty}(M) = \lim_{k\to\infty}R_k(M) \]

称为渐近收敛速度.

 

定理 4.3.1 设单步线性定常迭代矩阵为 \(M\) ，则有

\[R_{\infty}(M) = -\ln \rho(M) \]

即渐近收敛是迭代矩阵谱半径的负对数.

证明 只需证明

\[\lim_{k\to\infty}\left\|M^k\right\|^{\frac{1}{k}} = \rho(M) \]

利用迫敛性

\[(\rho(M))^k = \rho\left(M^k\right) \le \left\|M^k\right\|\ \Rightarrow\ \rho(M)\le \left\|M^k\right\|^{\frac{1}{k}} \]

我们考虑矩阵

\[B_{\epsilon} = \dfrac{1}{\rho(M)+\epsilon}M,\quad \epsilon>0 \]

则 \(\rho(B_{\epsilon})<1\) ，因此 \(\lim_{k\to\infty}B_{\epsilon}^k=0\) ，即

\[\exist K>0,\quad \mathrm{s.t.}\quad \forall k\ge K,\ \left\|B_{\epsilon}^k\right\|\le 1\ \Rightarrow\ \left\|M^k\right\|\le (\rho(M)+\epsilon)^k \]

从而我们有

\[\forall\epsilon>0,\ \exist K>0,\quad \mathrm{s.t.}\quad \forall k\ge K,\ \rho(M)\le \left\|M^k\right\|^{\frac{1}{k}}\le \rho(M)+\epsilon \]

即证.

 

超松弛迭代法

超松弛迭代法是对 G-S 迭代法的改进，对每一次迭代有

\[x_{k+1} = D^{-1}Lx_{k+1} + D^{-1}Ux_{k} + D^{-1}b,\quad \Delta x = x_{k+1} - x_k \]

我们添加一个修正项 \(\omega\) 得到

\[x_{k+1} = x_k + \omega\Delta x = (1-\omega)x_k + \omega\left(D^{-1}Lx_{k+1}+D^{-1}Ux_k+D^{-1}b\right) \]

其中 \(\omega\) 称为松弛因子，当 \(\omega>1\) ，称为超松弛迭代法，当 \(\omega<1\) ，称为低松弛迭代法，我们把超松弛迭代法简称为 SOR 迭代法.

我们改写迭代式得到

\[L_{\omega} = (D-\omega L)^{-1}[(1-\omega)D+\omega U] \]

即为迭代矩阵.

 

定理 4.4.1 SOR 迭代法收敛当且仅当 \(\rho(L_{\omega})<1\) .

定理 4.4.2 SOR 迭代法收敛的必要条件是 \(0<\omega<2\) .

定理 4.4.3 若系数矩阵 \(A\) 严格对角占优或不可约对角占优，且 \(\omega\in(0,1)\) ，则 SOR 迭代法收敛.

定理 4.4.4 若系数矩阵 \(A\) 是实对称正定阵，则 \(0<\omega<2\) 时， SOR 迭代法收敛.