数值分析之解线性方程组的直接方法 5.X
矩阵
谱分解
设 \(\boldsymbol{A}=a_{i j} \in \mathbb{R}^{n \times n}\) , 若存在数 \(\lambda\) (实数或复数) 和非零向量 \(\boldsymbol{x}=\left(x_{1}, x_{2}, \cdots, x_{n}\right)^{\mathrm{T}} \in \mathbb{R}^{n}\) , 使
\[A x=\lambda x \]则称 \(\lambda\) 为 \(\boldsymbol{A}\) 的特征值, \(\boldsymbol{x}\) 为 \(\boldsymbol{A}\) 对应 \(\lambda\) 的特征向量, \(\boldsymbol{A}\) 的全体特征值称为 \(\boldsymbol{A}\) 的谱,记作 \(\sigma(\boldsymbol{A})\) , 即 \(\sigma(\boldsymbol{A})=\left\{\lambda_{1}, \lambda_{2}, \cdots, \lambda_{n}\right\}\) . 记
\[\rho(\boldsymbol{A})=\max _{1 \leq i \leq n}\left|\lambda_{i}\right| \]称为矩阵 \(\boldsymbol{A}\) 的谱半径.
特征值特征向量性质
- \(\boldsymbol{A}^{\mathrm{T}}\) 与 \(\boldsymbol{A}\) 有相同的特征值 \(\lambda\) 及特征向量 \(\boldsymbol{x}\) .
- 若 \(\boldsymbol{A}\) 非奇异, 则 \(\boldsymbol{A}^{-1}\) 的特征值为 \(\lambda^{-1}\) , 特征向量为 \(\boldsymbol{x}\) .
- 相似矩阵 \(\boldsymbol{B}=\boldsymbol{S}^{-1} \boldsymbol{A S}\) 有相同的特征多项式.
特殊矩阵
设 \(\boldsymbol{A}=\left(a_{i j}\right) \in \mathbb{R}^{n \times n}\) .
- 对角矩阵 如果当 \(i \neq j 时, a_{i j}=0\) .
- 三对角矩阵 如果当 \(|i-j|>1 时, a_{i j}=0\) .
- 上三角矩阵 如果当 \(i>j 时, a_{i j}=0\) .
- 上海森伯格 (Hessenberg)阵 如果当 \(i>j+1 时, a_{i j}=0\) .
- 对称矩阵 如果 \(\boldsymbol{A}^{\mathrm{T}}=\boldsymbol{A}\) .
- 埃尔米特矩阵 设 \(\boldsymbol{A} \in \mathbb{C}^{n \times n}\) , 如果 \(\boldsymbol{A}^{\mathrm{H}}=\boldsymbol{A} (\boldsymbol{A}^{\mathrm{H}}=\overline{\boldsymbol{A}}^{\mathrm{T}}\) , 即为 \(\boldsymbol{A}\) 的共轭转置).
- 对称正定矩阵 如果 (1) \(\boldsymbol{A}^{\mathrm{T}}=\boldsymbol{A}\) , (2)对任意非零向量 \(\boldsymbol{x} \in \mathbb{R}^{n},(\boldsymbol{A} \boldsymbol{x}\), \(\boldsymbol{x})=\boldsymbol{x}^{\mathrm{T}} \boldsymbol{A} \boldsymbol{x}>0\) .
- 正交矩阵 如果 \(\boldsymbol{A}^{-1}=\boldsymbol{A}^{\mathrm{T}}\) .
- 西矩阵 设 \(\boldsymbol{A} \in \mathbb{C}^{n \times n}\) , 如果 \(\boldsymbol{A}^{-1}=\boldsymbol{A}^{\mathrm{H}}\) .
- 初等置换阵由单位矩阵 \(\boldsymbol{I}\) 交换第 \(i\) 行与第 \(j\) 行 (或交换第 \(i\) 列与第 \(j\) 列), 得到的矩阵记为 \(\boldsymbol{I}_{i j}\) , 且
\(\boldsymbol{I}_{i j} \boldsymbol{A}=\widetilde{\boldsymbol{A}}\)(为交换 \(\boldsymbol{A}\) 第 \(i\) 行与第 \(j\) 行得到的矩阵);
\(\boldsymbol{A} \boldsymbol{I}_{i j}=\boldsymbol{B}\) (为交换 \(\boldsymbol{A}\) 第 \(i\) 列与第 \(j\) 列得到的矩阵).- 置换阵由初等置换阵的乘积得到的矩阵.
定理一 (满秩矩阵的等价命题)
设 \(\boldsymbol{A} \in \mathbb{R}^{n \times n}\) , 则下述命题等价 :
- 对任何 \(\boldsymbol{b} \in \mathbb{R}^{n}\) , 方程组 \(\boldsymbol{A} \boldsymbol{x}=\boldsymbol{b}\) 有唯一解.
- 齐次方程组 \(\boldsymbol{A x}=\mathbf{0}\) 只有唯一解 \(\boldsymbol{x}=\mathbf{0}\) .
- \(\operatorname{det}(\boldsymbol{A}) \neq 0\) .
- \(\boldsymbol{A}^{-1}\) 存在.
- \(\boldsymbol{A}\) 的秩 \(\operatorname{rank}(\boldsymbol{A})=n\) .
定理二 (正定矩阵的性质)
设 \(A \in \mathbb{R}^{n \times n}\) 为对称正定矩阵, 则
- \(\boldsymbol{A}\) 为非奇异矩阵, 且 \(\boldsymbol{A}^{-1}\) 亦是对称正定矩阵.
- 记 \(\boldsymbol{A}_{k}\) 为 \(\boldsymbol{A}\) 的顺序主子阵, 则 \(\boldsymbol{A}_{k}(k=1,2, \cdots, n)\) 亦是对称正定矩阵, 其中
\[\boldsymbol{A}_{k}=\left(\begin{array}{ccc} a_{11} & \cdots & a_{1 k} \\ \vdots & & \vdots \\ a_{k 1} & \cdots & a_{k k} \end{array}\right), \quad k=1,2, \cdots, n\]
- \(\boldsymbol{A}\) 的特征值 \(\lambda_{i}>0(i=1,2, \cdots, n)\) .
- \(\boldsymbol{A}\) 的顺序主子式都大于零, 即 \(\operatorname{det}\left(\boldsymbol{A}_{k}\right)>0(k=1,2, \cdots, n)\) .
定理三 (重特征值的矩阵相似为非对角形式的若尔当形)
定理 4 (若尔当 (Jordan) 标准形) 设 \(\boldsymbol{A}\) 为 \(n\) 阶矩阵, 则存在一个非奇异矩阵 \(\boldsymbol{P}\) 使得
\[\boldsymbol{P}^{-1} A P=\left(\begin{array}{llll} \boldsymbol{J}_{1}\left(\lambda_{1}\right) & & & \\ & \boldsymbol{J}_{2}\left(\lambda_{2}\right) & & \\ & & \ddots & \\ & & & \boldsymbol{J}_{r}\left(\lambda_{r}\right) \end{array}\right)\]
其中
\[\begin{array}{c} \boldsymbol{J}_{i}=\left(\begin{array}{lllll} \lambda_{i} & 1 & & & \\ & \lambda_{i} & 1 & & \\ & & \ddots & \ddots & \\ & & \lambda_{i} & 1 \\ & & & \lambda_{i} \end{array}\right)_{n_{i} \times n_{i}}, \\ n_{i} \geqslant 1(i=1,2, \cdots, r), \quad \text { 且 } \sum_{i=1}^{r} n_{i}=n \end{array}\]为若尔当块.
(1）当 \(\boldsymbol{A}\) 的若尔当标准形中所有若尔当块 \(\boldsymbol{J}_{i}\) 均为一阶时, 此标准形变成对角矩阵.
(2) 如果 \(\boldsymbol{A}\) 的特征值各不相同,则其若尔当标准形必为对角矩阵 \(\operatorname{diag}\left(\lambda_{1}, \lambda_{2}, \cdots, \lambda_{n}\right)\) .
直接解方程组
高斯消元法
高斯若尔当消元法
把 \(A\) 变成对角阵, 再归一化为 \(I_n\),
列主元消元法
进行高斯消元法的时候, 选取每一列绝对值最大的数作为主元, 换行来进行操作
矩阵三角分解法
(1) \(\boldsymbol{L} \boldsymbol{y}=\boldsymbol{b}\) , 求 \(\boldsymbol{y}\) ;
(2) \(\boldsymbol{U} \boldsymbol{x}=\boldsymbol{y}\) , 求 \(\boldsymbol{x}\) .
LU分解 \(A=LU\) (杜利特尔分解) [各阶顺序主子式不为零即可]
设 \(\boldsymbol{A}\) 为 \(n\) 阶矩阵, 如果 \(\boldsymbol{A}\) 的顺序主子式 \(D_{i} \neq 0(i=1,2, \cdots , n-1 )\), 则 \(\boldsymbol{A}\) 可分解为一个单位下三角矩阵 \(\boldsymbol{L}\) 和一个上三角矩阵 \(\boldsymbol{U}\) 的乘积, 且这种分解是唯一的.
平方根法 \(A=\tilde{L}\tilde{L}^T\) (对称正定阵的三角分解或楚列斯基分解) [对称正定阵]
如果 \(\boldsymbol{A}\) 为 \(n\) 阶对称正定矩阵, 则存在一个实的非奇异下三角矩阵 \(\boldsymbol{L}\) 使 \(\boldsymbol{A}=\boldsymbol{L} \boldsymbol{L}^{\mathrm{T}}\) , 当限定 \(\boldsymbol{L}\) 的对角元素为正时, 这种分解是唯一的.
改进的平方根法 \(A=LDL^T\) [对称且各阶顺序主子式不为零]
设 \(\boldsymbol{A}\) 为 \(n\) 阶对称矩阵, 且 \(\boldsymbol{A}\) 的所有顺序主子式均不为零, 则 \(\boldsymbol{A}\) 可唯一分解为
\(\boldsymbol{A}=\boldsymbol{L} \boldsymbol{D} \boldsymbol{L}^{\mathrm{T}}\),
其中 \(\boldsymbol{L}\) 为单位下三角矩阵, \(\boldsymbol{D}\) 为对角矩阵.
追赶法 (三对角方程的LU分解)
误差分析
算子范数 (有矩阵向量相容性的范数)
定义
设 \(\boldsymbol{x} \in \mathbb{R}^{n}, \boldsymbol{A} \in \mathbb{R}^{n \times n}\) , 给出一种向量范数 \(\|\boldsymbol{x}\|_{v}\) (如 \(v=1,2\) 或 \(\infty\) ), 相应地定义一个矩阵的非负函数
\[\|\boldsymbol{A}\|_{v}=\max _{\boldsymbol{x} \neq \boldsymbol{0}} \frac{\|\boldsymbol{A} \boldsymbol{x}\|_{v}}{\|\boldsymbol{x}\|_{v}} \]
可验证 \(\|\boldsymbol{A}\|_{v}\) 满足定义 4(见下面定理), 所以 \(\|\boldsymbol{A}\|_{v}\) 是 \(\mathbb{R}^{n \times n}\) 上矩阵的一个范数, 称为 \(\boldsymbol{A}\) 的算子范数, 也称从属范数.
3种算子范数
设 \(x \in \mathbb{R}^{n}, \boldsymbol{A} \in \mathbb{R}^{n \times n}\) , 则 :
(1) \(\|\boldsymbol{A}\|_{\infty}=\max _{1 \leqslant i \leqslant n} \sum_{j=1}^{n}\left|a_{i j}\right|\) (称为 \(\boldsymbol{A}\) 的行范数, \(\infty\)横着, 所以行范数);
(2) \(\|\boldsymbol{A}\|_{1}=\max _{1 \leqslant j \leqslant n} \sum_{i=1}^{n}\left|a_{i j}\right|\) (称为 \(\boldsymbol{A}\) 的列范数, 1竖着所以列范数);
(3) \(\|\boldsymbol{A}\|_{2}=\sqrt{\lambda_{\max }\left(\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}\right)}\) (称为 \(\boldsymbol{A}\) 的 2-范数), 其中 \(\lambda_{\max }\left(\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}\right)\) 表示 \(\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}\) 的最大特征值.
性质
\[\|\boldsymbol{A} \boldsymbol{B}\|_{v}\leqslant\|\boldsymbol{A}\|_{v}\|\boldsymbol{B}\|_{v} \]
条件数
带横线表示测量值，测量解
\[\|x-\bar{x}\|=\|A^{-1}(b-\bar{b})\|\leq\|A^{-1}\|\|b-\bar{b}\|~(1) \]
\[\|b\|\leq \|A\|\|x\| \Rightarrow \frac{1}{\|x\|}\leq \frac{\|A\|}{\|b\|}~(2) \]
结合 (1) (2), 有
\[\frac{\|x-\bar{x}\|}{\|x\|} \leqslant\left\|A^{-1}\right\|\|A\| \frac{\|b-\bar{b}\|}{\|b\|} \]
因此我们取 \(\left\|A^{-1}\right\|\|A\|\) 为条件数
定义:设 \(\boldsymbol{A}\) 为非奇异阵, 称数 \(\operatorname{cond}(\boldsymbol{A})_{v}=\left\|\boldsymbol{A}^{-1}\right\|\left\|_{v}\right\| \boldsymbol{A} \|_{v}(v=1,2\) 或 \(\infty)\) 为矩阵 \(\boldsymbol{A}\) 的条件数.
常用条件数
(1) \(\operatorname{cond}(\boldsymbol{A})_{\infty}=\left\|\boldsymbol{A}^{-1}\right\|_{\infty}\|\boldsymbol{A}\|_{\infty}\) ;
(2) \(\boldsymbol{A}\) 的谱条件数
\[\operatorname{cond}(\boldsymbol{A})_{2}=\|\boldsymbol{A}\|_{2}\left\|\boldsymbol{A}^{-1}\right\|_{2}=\sqrt{\frac{\lambda_{\max }\left(\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}\right)}{\lambda_{\min }\left(\boldsymbol{A} \boldsymbol{A}^{\mathrm{T}}\right)}} \]当 \(A\) 为对称矩阵时
\[\operatorname{cond}(\boldsymbol{A})_{2}=\frac{\left|\lambda_{1}\right|}{\left|\lambda_{n}\right|} \]其中 \(\lambda_{1}, \lambda_{n}\) 为 \(\boldsymbol{A}\) 的绝对值最大和绝对值最小的特征值.
条件数的性质
(1) 对任何非奇异矩阵 \(\boldsymbol{A}\) , 都有 \(\operatorname{cond}(\boldsymbol{A})_{v} \geqslant 1\) . 事实上,
\[\operatorname{cond}(\boldsymbol{A})_{v}=\left\|\boldsymbol{A}^{-1}\right\|_{v}\|\boldsymbol{A}\|_{v} \geqslant\left\|\boldsymbol{A}^{-1} \boldsymbol{A}\right\|_{v}=1 \]
(2) 设 \(\boldsymbol{A}\) 为非奇异阵且 \(c \neq 0\) (常数), 则
\[\operatorname{cond}(c \boldsymbol{A})_{v}=\operatorname{cond}(\boldsymbol{A})_{v} \]
(3) 如果 \(\boldsymbol{A}\) 为正交矩阵, 则 \(\operatorname{cond}(\boldsymbol{A})_{2}=1\) ;
如果 \(\boldsymbol{A}\) 为非奇异矩阵, \(\boldsymbol{R}\) 为正交矩阵, 则 \(\operatorname{cond}(\boldsymbol{R A})_{2}=\operatorname{cond}(\boldsymbol{A R})_{2}=\operatorname{cond}(\boldsymbol{A})_{2}\)
