数值分析之解线性方程组的直接方法 5.X

矩阵

谱分解

设 $\mathit{A}=a_{ij}\in {\mathbb{R}}^{n\times n}$ , 若存在数 $\lambda$ (实数或复数) 和非零向量 $\mathit{x}={(x_1,x_2,\cdots ,x_n)}^{\mathrm{T}}\in {\mathbb{R}}^n$ , 使

$$Ax=\lambda x$$

则称 $\lambda$ 为 $\mathit{A}$ 的特征值, $\mathit{x}$ 为 $\mathit{A}$ 对应 $\lambda$ 的特征向量, $\mathit{A}$ 的全体特征值称为 $\mathit{A}$ 的谱,记作 $\sigma (\mathit{A})$ , 即 $\sigma (\mathit{A})=\{{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n\}$ . 记

$$\rho (\mathit{A})=\underset{1\le i\le n}{max}\left|{\lambda }_i\right|$$

称为矩阵 $\mathit{A}$ 的谱半径.

特征值特征向量性质

• ${\mathit{A}}^{\mathrm{T}}$ 与 $\mathit{A}$ 有相同的特征值 $\lambda$ 及特征向量 $\mathit{x}$ .
• 若 $\mathit{A}$ 非奇异, 则 ${\mathit{A}}^{-1}$ 的特征值为 ${\lambda }^{-1}$ , 特征向量为 $\mathit{x}$ .
• 相似矩阵 $\mathit{B}={\mathit{S}}^{-1}\mathit{A}\mathit{S}$ 有相同的特征多项式.

特殊矩阵

设 $\mathit{A}=\left(a_{ij}\right)\in {\mathbb{R}}^{n\times n}$ .

• 对角矩阵 如果当 $i\ne j\mathrm{时},a_{ij}=0$ .
• 三对角矩阵 如果当 $|i-j|>1\mathrm{时},a_{ij}=0$ .
• 上三角矩阵 如果当 $i>j\mathrm{时},a_{ij}=0$ .
• 上海森伯格 (Hessenberg)阵 如果当 $i>j+1\mathrm{时},a_{ij}=0$ .
• 对称矩阵 如果 ${\mathit{A}}^{\mathrm{T}}=\mathit{A}$ .
• 埃尔米特矩阵 设 $\mathit{A}\in {\mathbb{C}}^{n\times n}$ , 如果 ${\mathit{A}}^{\mathrm{H}}=\mathit{A}({\mathit{A}}^{\mathrm{H}}={\bar{\mathit{A}}}^{\mathrm{T}}$ , 即为 $\mathit{A}$ 的共轭转置).
• 对称正定矩阵 如果 (1) ${\mathit{A}}^{\mathrm{T}}=\mathit{A}$ , (2)对任意非零向量 $\mathit{x}\in {\mathbb{R}}^n,(\mathit{A}\mathit{x}$, $\mathit{x})={\mathit{x}}^{\mathrm{T}}\mathit{A}\mathit{x}>0$ .
• 正交矩阵 如果 ${\mathit{A}}^{-1}={\mathit{A}}^{\mathrm{T}}$ .
• 西矩阵 设 $\mathit{A}\in {\mathbb{C}}^{n\times n}$ , 如果 ${\mathit{A}}^{-1}={\mathit{A}}^{\mathrm{H}}$ .
• 初等置换阵由单位矩阵 $\mathit{I}$ 交换第 $i$ 行与第 $j$ 行 (或交换第 $i$ 列与第 $j$ 列), 得到的矩阵记为 ${\mathit{I}}_{ij}$ , 且
  ${\mathit{I}}_{ij}\mathit{A}=\tilde{\mathit{A}}$(为交换 $\mathit{A}$ 第 $i$ 行与第 $j$ 行得到的矩阵);
  $\mathit{A}{\mathit{I}}_{ij}=\mathit{B}$ (为交换 $\mathit{A}$ 第 $i$ 列与第 $j$ 列得到的矩阵).
• 置换阵由初等置换阵的乘积得到的矩阵.

定理一 (满秩矩阵的等价命题)

设 $\mathit{A}\in {\mathbb{R}}^{n\times n}$ , 则下述命题等价 :

• 对任何 $\mathit{b}\in {\mathbb{R}}^n$ , 方程组 $\mathit{A}\mathit{x}=\mathit{b}$ 有唯一解.
• 齐次方程组 $\mathit{A}\mathit{x}=\mathbf{0}$ 只有唯一解 $\mathit{x}=\mathbf{0}$ .
• $\det (\mathit{A})\ne 0$ .
• ${\mathit{A}}^{-1}$ 存在.
• $\mathit{A}$ 的秩 $\mathrm{rank}(\mathit{A})=n$ .

定理二 (正定矩阵的性质)

设 $A\in {\mathbb{R}}^{n\times n}$ 为对称正定矩阵, 则

• $\mathit{A}$ 为非奇异矩阵, 且 ${\mathit{A}}^{-1}$ 亦是对称正定矩阵.
• 记 ${\mathit{A}}_k$ 为 $\mathit{A}$ 的顺序主子阵, 则 ${\mathit{A}}_k(k=1,2,\cdots ,n)$ 亦是对称正定矩阵, 其中

$${\mathit{A}}_k=\left(\begin{array}{ccc}{a}_{11}& \cdots & a_{1k}\\ ⋮& & ⋮\\ a_{k1}& \cdots & a_{kk}\end{array}\right),k=1,2,\cdots ,n$$

• $\mathit{A}$ 的特征值 ${\lambda }_i>0(i=1,2,\cdots ,n)$ .
• $\mathit{A}$ 的顺序主子式都大于零, 即 $\det \left({\mathit{A}}_k\right)>0(k=1,2,\cdots ,n)$ .

定理三 (重特征值的矩阵相似为非对角形式的若尔当形)

定理 4 (若尔当 (Jordan) 标准形) 设 $\mathit{A}$ 为 $n$ 阶矩阵, 则存在一个非奇异矩阵 $\mathit{P}$ 使得

$${\mathit{P}}^{-1}AP=\left(\begin{array}{llll}{\mathit{J}}_1\left({\lambda }_1\right)& & & \\ & {\mathit{J}}_2\left({\lambda }_2\right)& & \\ & & \ddots & \\ & & & {\mathit{J}}_r\left({\lambda }_r\right)\end{array}\right)$$

其中

$$\begin{array}{c}{\mathit{J}}_i={\left(\begin{array}{lllll}{\lambda }_i& 1& & & \\ & {\lambda }_i& 1& & \\ & & \ddots & \ddots & \\ & & {\lambda }_i& 1\\ & & & {\lambda }_i\end{array}\right)}_{n_i\times n_i},\\ n_i⩾1(i=1,2,\cdots ,r),\text{ 且 }\sum _{i=1}^r{n}_i=n\end{array}$$

为若尔当块.
(1）当 $\mathit{A}$ 的若尔当标准形中所有若尔当块 ${\mathit{J}}_i$ 均为一阶时, 此标准形变成对角矩阵.
(2) 如果 $\mathit{A}$ 的特征值各不相同,则其若尔当标准形必为对角矩阵 $\mathrm{diag}({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n)$ .

直接解方程组

高斯消元法

高斯若尔当消元法

把 $A$ 变成对角阵, 再归一化为 $I_n$,

列主元消元法

进行高斯消元法的时候, 选取每一列绝对值最大的数作为主元, 换行来进行操作

矩阵三角分解法

(1) $\mathit{L}\mathit{y}=\mathit{b}$ , 求 $\mathit{y}$ ;
(2) $\mathit{U}\mathit{x}=\mathit{y}$ , 求 $\mathit{x}$ .

LU分解 $A=LU$ (杜利特尔分解) [各阶顺序主子式不为零即可]

设 $\mathit{A}$ 为 $n$ 阶矩阵, 如果 $\mathit{A}$ 的顺序主子式 $D_i\ne 0(i=1,2,\cdots ,n-1)$, 则 $\mathit{A}$ 可分解为一个单位下三角矩阵 $\mathit{L}$ 和一个上三角矩阵 $\mathit{U}$ 的乘积, 且这种分解是唯一的.

平方根法 $A=\tilde{L}{\tilde{L}}^T$ (对称正定阵的三角分解或楚列斯基分解) [对称正定阵]

如果 $\mathit{A}$ 为 $n$ 阶对称正定矩阵, 则存在一个实的非奇异下三角矩阵 $\mathit{L}$ 使 $\mathit{A}=\mathit{L}{\mathit{L}}^{\mathrm{T}}$ , 当限定 $\mathit{L}$ 的对角元素为正时, 这种分解是唯一的.

改进的平方根法 $A=LD{L}^T$ [对称且各阶顺序主子式不为零]

设 $\mathit{A}$ 为 $n$ 阶对称矩阵, 且 $\mathit{A}$ 的所有顺序主子式均不为零, 则 $\mathit{A}$ 可唯一分解为
$\mathit{A}=\mathit{L}\mathit{D}{\mathit{L}}^{\mathrm{T}}$,
其中 $\mathit{L}$ 为单位下三角矩阵, $\mathit{D}$ 为对角矩阵.

追赶法 (三对角方程的LU分解)

误差分析

算子范数 (有矩阵向量相容性的范数)

定义

设 $\mathit{x}\in {\mathbb{R}}^n,\mathit{A}\in {\mathbb{R}}^{n\times n}$ , 给出一种向量范数 $\Vert \mathit{x}{\Vert }_v$ (如 $v=1,2$ 或 $\mathrm{\infty }$ ), 相应地定义一个矩阵的非负函数

$$\Vert \mathit{A}{\Vert }_v=\underset{\mathit{x}\ne \mathbf{0}}{max}\frac{\Vert \mathit{A}\mathit{x}{\Vert }_v}{\Vert \mathit{x}{\Vert }_v}$$

可验证 $\Vert \mathit{A}{\Vert }_v$ 满足定义 4(见下面定理), 所以 $\Vert \mathit{A}{\Vert }_v$ 是 ${\mathbb{R}}^{n\times n}$ 上矩阵的一个范数, 称为 $\mathit{A}$ 的算子范数, 也称从属范数.

3种算子范数

设 $x\in {\mathbb{R}}^n,\mathit{A}\in {\mathbb{R}}^{n\times n}$ , 则 :
(1) $\Vert \mathit{A}{\Vert }_{\mathrm{\infty }}=\underset{1⩽i⩽n}{max}\sum _{j=1}^n\left|a_{ij}\right|$ (称为 $\mathit{A}$ 的行范数, $\mathrm{\infty }$横着, 所以行范数);

(2) $\Vert \mathit{A}{\Vert }_1=\underset{1⩽j⩽n}{max}\sum _{i=1}^n\left|a_{ij}\right|$ (称为 $\mathit{A}$ 的列范数, 1竖着所以列范数);

(3) $\Vert \mathit{A}{\Vert }_2=\sqrt{{\lambda }_{max}\left({\mathit{A}}^{\mathrm{T}}\mathit{A}\right)}$ (称为 $\mathit{A}$ 的 2-范数), 其中 ${\lambda }_{max}\left({\mathit{A}}^{\mathrm{T}}\mathit{A}\right)$ 表示 ${\mathit{A}}^{\mathrm{T}}\mathit{A}$ 的最大特征值.

性质

$$\Vert \mathit{A}\mathit{B}{\Vert }_v⩽\Vert \mathit{A}{\Vert }_v\Vert \mathit{B}{\Vert }_v$$

条件数

带横线表示测量值，测量解

$$\Vert x-\overline{x}\Vert =\Vert A^{-1}(b-\overline{b})\Vert \le \Vert A^{-1}\Vert \Vert b-\overline{b}\Vert (1)$$

$$\Vert b\Vert \le \Vert A\Vert \Vert x\Vert \Rightarrow \frac{1}{\Vert x\Vert }\le \frac{\Vert A\Vert }{\Vert b\Vert }(2)$$

结合 (1) (2), 有

$$\frac{\Vert x-\overline{x}\Vert }{\Vert x\Vert }⩽\Vert A^{-1}\Vert \Vert A\Vert \frac{\Vert b-\overline{b}\Vert }{\Vert b\Vert }$$

因此我们取 $\Vert A^{-1}\Vert \Vert A\Vert$ 为条件数

定义:设 $\mathit{A}$ 为非奇异阵, 称数 $\mathrm{cond}(\mathit{A}{)}_v=\Vert {\mathit{A}}^{-1}\Vert \Vert {}_v\Vert \mathit{A}{\Vert }_v(v=1,2$ 或 $\mathrm{\infty })$ 为矩阵 $\mathit{A}$ 的条件数.

常用条件数

(1) $\mathrm{cond}(\mathit{A}{)}_{\mathrm{\infty }}={\Vert {\mathit{A}}^{-1}\Vert }_{\mathrm{\infty }}\Vert \mathit{A}{\Vert }_{\mathrm{\infty }}$ ;

(2) $\mathit{A}$ 的谱条件数

$$\mathrm{cond}(\mathit{A}{)}_2=\Vert \mathit{A}{\Vert }_2{\Vert {\mathit{A}}^{-1}\Vert }_2=\sqrt{\frac{{\lambda }_{max}\left({\mathit{A}}^{\mathrm{T}}\mathit{A}\right)}{{\lambda }_{min}\left(\mathit{A}{\mathit{A}}^{\mathrm{T}}\right)}}$$

当 $A$ 为对称矩阵时

$$\mathrm{cond}(\mathit{A}{)}_2=\frac{\left|{\lambda }_1\right|}{\left|{\lambda }_n\right|}$$

其中 ${\lambda }_1,{\lambda }_n$ 为 $\mathit{A}$ 的绝对值最大和绝对值最小的特征值.

条件数的性质

(1) 对任何非奇异矩阵 $\mathit{A}$ , 都有 $\mathrm{cond}(\mathit{A}{)}_v⩾1$ . 事实上,

$$\mathrm{cond}(\mathit{A}{)}_v={\Vert {\mathit{A}}^{-1}\Vert }_v\Vert \mathit{A}{\Vert }_v⩾{\Vert {\mathit{A}}^{-1}\mathit{A}\Vert }_v=1$$

(2) 设 $\mathit{A}$ 为非奇异阵且 $c\ne 0$ (常数), 则

$$\mathrm{cond}(c\mathit{A}{)}_v=\mathrm{cond}(\mathit{A}{)}_v$$

(3) 如果 $\mathit{A}$ 为正交矩阵, 则 $\mathrm{cond}(\mathit{A}{)}_2=1$ ;
如果 $\mathit{A}$ 为非奇异矩阵, $\mathit{R}$ 为正交矩阵, 则 $\mathrm{cond}(\mathit{R}\mathit{A}{)}_2=\mathrm{cond}(\mathit{A}\mathit{R}{)}_2=\mathrm{cond}(\mathit{A}{)}_2$