【数学】矩阵论学习笔记（一）

符号约定：

• $\boldsymbol{I}$：单位矩阵

• $\boldsymbol{A}^{\mathrm{H}}$：$\boldsymbol{A}$ 的 共轭转置

• $\operatorname{rank} \boldsymbol{A}$：$\boldsymbol{A}$ 的 秩

• $\operatorname{cond}(\boldsymbol{A})$：$\boldsymbol{A}$ 的 条件数

• $\mathbb{C_r^{m \times n}}$：秩为 $r$ 的复 $m \times n$ 矩阵 集合

第一章 矩阵的相似变换

1.1 矩阵的特征值与特征向量

定义 $1$（特征值、特征向量）

• 设 $A \in \mathbb{C^{n \times n}}$，若 $\exist \lambda \in \mathbb{C}$ 和 $x \in \mathbb{C^{n}}, \; x \neq 0$ 使得

  $$Ax = \lambda x$$

  则称 $\lambda$ 是 $A$ 的 特征值，$x$ 称为 $A$ 的属于 $\lambda$ 的 特征向量.

定义 $2$

设 $A \in \mathbb{C^{n \times n}}$，

• 称 $\lambda I_n - A$ 为 $A$ 的 特征矩阵.

• 称 $\det (\lambda I_n - A) = \lvert \lambda I_n - A \rvert$ 为 $A$ 的 特征多项式.

• 称 $| \lambda I_n - A | = 0$ 为 $A$ 的 特征方程.

📝 Notations

1. $A$ 的特征值就是 $A$ 的特征方程的根；

2. $n$ 阶方阵 $A$ 在复数范围内一定有 $n$ 个特征值.

定义 $3$（矩阵的迹）

• 设 $A = (a_{ij})_{n \times n} \in \mathbb{C^{n \times n}}$，称 $a_{11} + a_{22} + \cdots + a_{nn}$ 为 $A$ 的 迹，记为 $\operatorname{tr} A$.

定理 $1$

• 设 $n$ 阶方阵 $A = (a_{ij})_{n \times n}$ 的特征值为 $\lambda_1, \lambda_2, \cdots, \lambda_n$，则

  1. $\lambda_1 + \lambda_2, \cdots + \lambda_n = a_{11} + a_{22} + \cdots + a_{nn} = \operatorname{tr} A$.

  2. $\displaystyle \prod_{k=1}^n \lambda_k = |A| \quad \Longrightarrow \quad$ $A$ 可逆的充要条件是 $A$ 的特征值非零.

  3. $A^{\scriptscriptstyle \mathrm{T}}$ 的特征值是 $\lambda_1, \lambda_2, \dotsc, \lambda_n$

  4. $A^{\scriptscriptstyle \mathrm{H}}$ 的特征值是 $\overline{\lambda_1}, \overline{\lambda_2}, \dotsc, \overline{\lambda_n}$

定理 $2$

• 设 $\lambda_i$ 是 $A \in \mathbb{C^{n \times n}}$ 的 $r_i$ 重特征值（称 $r_i$ 为特征值 $\lambda_i$ 的代数重数），对应 $\lambda_i$ 有 $s_i$ 个线性无关的特征向量（称 $s_i$ 为特征值 $\lambda_i$ 的几何重数），则 $1 \leq s_i \leq r_i$.

定义 $4$

• 设 $f(\lambda)$ 是 $\lambda$ 的多项式

  $$f(\lambda) = a_s\lambda^s + a_{s-1}\lambda^{s-1} + \cdots + a_1\lambda + a_0$$

  对于 $A \in \mathbb{C^{n \times n}}$，规定

  $$f(A) = a_sA^s + a_{s-1}A^{s-1} + \cdots + a_1A + a_0I$$

  称 $f(A)$ 为矩阵 $A$ 的多项式.

定理 $3$

• 设 $A \in \mathbb{C^{n \times n}}$，$A$ 的 $n$ 个特征值为 $\lambda_1, \lambda_2, \cdots, \lambda_n$，对应的特征向量分别为 $x_1, x_2, \cdots, x_n$，又设 $f(\lambda)$ 为一多项式，则 $f(A)$ 的特征值为 $f(\lambda_1), f(\lambda_2), \cdots, f(\lambda_n)$，对应的特征向量分别仍为 $x_1, x_2, \cdots, x_n$.

• 特别地，$f(A) = 0$ 时，$A$ 的任意特征值 $\lambda_i$ 都满足 $f(\lambda_i) = 0$.

定理 $4$

• 设 $\lambda_1, \lambda_2, \cdots, \lambda_s$ 是方阵 $A$ 的互不相同的特征值，$x_1, x_2, \cdots, x_s$ 是分别与之对应的特征向量，则 $x_1, x_2, \cdots, x_s$ 线性无关.

• 特别地，属于实对称阵的不同特征值的特征向量是正交的.

1.2 矩阵的相似对角化

定义 $1$

• 设 $A, B \in \mathbb{C^{n \times n}}$，若 $\exists P \in \mathbb{C^{n \times n}}$ 使得 $P^{-1}AP = B$，则称 $A$ 和 $B$ 相似，记为 $A \sim B$；并称可逆阵 $P$ 为把 $A$ 变成 $B$ 的 相似变换矩阵.

• 当 $A$ 与对角阵相似时，称 $A$ 可对角化.

定理 $1$（性质）

• 设 $A, B, C \in \mathbb{C^{n \times n}}$，则

  1. 反身性：$A \sim A$

  2. 对称性：若 $A \sim B$，则 $B \sim A$.

  3. 传递性：若 $A \sim B, B \sim C$，则 $A \sim C$.

• 相似关系为等价关系.

定理 $2$

• 设 $A, B \in \mathbb{C^{n \times n}}, A \sim B$，$f(\lambda)$ 是一多项式，则

  1. $\operatorname{rank}(A) = \operatorname{rank}(B)$，$|A| = |B|$；

  2. $\det(\lambda I - A) = \det(\lambda I - B)$，即 $A$ 与 $B$ 有相同的特征多项式，从而有相同的特征值.

  3. $A^{-1} \sim B^{-1}, \; A^{\scriptscriptstyle \mathrm{T}} \sim B^{\scriptscriptstyle \mathrm{T}}, \; f(A) \sim f(B)$.

定理 $3$

• 设 $A \in \mathbb{C^{n \times n}}$，则 $A$ 可对角化的充分必要条件是 $A$ 有 $n$ 个线性无关的特征向量 $\xi_1, \xi_2, \cdots, \xi_n$.

• 推论：设 $A \in \mathbb{C^{n \times n}}$，如果 $A$ 有 $n$ 个不同的特征值，则 $A$ 可对角化.

定理 $4$

• 设 $\lambda_1, \lambda_2, \cdots, \lambda_s$ 是 $n$ 阶方阵 $A$ 的所有互不相同的特征值，其重数分别为 $r_1, r_2, \cdots, r_s$. 则 $A$ 可对角化的充要条件是 $r_i$ 重特征值 $\lambda_i$ 有 $r_i \; (i = 1, \cdots, s)$ 个线性无关的特征向量.

求解一阶线性常系数微分方程组

1.3 矩阵的 Jordan 标准形

定义 $1$

• 形如

  $$J_i = \begin{pmatrix} \lambda_i & 1 & & \\ & \lambda_i & \ddots & \\ & & \ddots & 1 \\ & & & \lambda_i \end{pmatrix}_{r_i \times r_i}$$

  的矩阵称为 $r_i$ 阶 Jordan 块.

• 由若干个 Jordan 块构成的分块对角阵

  $$J = \begin{pmatrix} J_1 & & & \\ & J_2 & & \\ & & \ddots & \\ & & & J_s \end{pmatrix}$$

  称为 Jordan 矩阵.

定理 $1$

• 对于 $r_i$ 阶 Jordan 块

  $$J_i = \begin{pmatrix} \lambda_i & 1 & & \\ & \lambda_i & \ddots & \\ & & \ddots & 1 \\ & & & \lambda_i \end{pmatrix}_{r_i \times r_i}$$

  有

  $$\newcommand{\C}[2]{\mathrm{C}_{#2}^{#1}} \newcommand{\lambi}[1]{\lambda_{i}^{#1}} \newcommand{\flamb}[2]{\dfrac{1}{#1 !}\left(\lambda^k\right)^{#2}} \begin{aligned} J_i^k & = \begin{pmatrix} \lambi{k} & \C{1}{k}\lambi{k-1} & \C{2}{k}\lambi{k-2} & \cdots & \C{r_i - 1}{k}\lambi{k-r_i+1} \\ & \lambi{k} & \C{1}{k}\lambi{k-1} & \cdots & \C{r_i - 2}{k}\lambi{k-r_i+2} \\ & & \ddots & \ddots & \vdots \\ & & & \ddots & \C{1}{k}\lambi{k-1} \\ & & & & \lambi{k} \end{pmatrix} \\ & = \left. \begin{pmatrix} \lambda^k & \flamb{1}{\prime} & \flamb{2}{\prime\prime} & \cdots & \flamb{(r_i - 1)}{(r_i - 1)} \\ & \lambda^k & \flamb{1}{\prime} & \cdots & \flamb{(r_i - 2)}{(r_i - 2)} \\ & & \ddots & \ddots & \vdots \\ & & & \ddots & \flamb{1}{\prime} \\ & & & & \lambda^k \end{pmatrix} \right |_{\lambda = \lambda_i} \end{aligned}$$

对于 Jordan 阵

$$J = \begin{pmatrix} J_1 & & & \\ & J_2 & & \\ & & \ddots & \\ & & & J_s \end{pmatrix}$$

有

$$J^k = \begin{pmatrix} J_1^k & & & \\ & J_2^k & & \\ & & \ddots & \\ & & & J_s^k \end{pmatrix}$$

定理 $2$

• 设 $A \in \mathbb{C^{n \times n}}$，则 $A$ 与一个 Jordan 矩阵 $J$ 相似，即存在可逆矩阵 $P \in \mathbb{C_n^{n \times n}}$，使得

  $$P^{-1}AP = J$$

  这个 Jordan 矩阵 $J$ 除 Jordan 块的排列次序外由 $A$ 唯一确定，并称 $J$ 为 $A$ 的 Jordan 标准形.

$\lambda$ 矩阵的初等变换包括：

1. 交换两行（列）；

2. 某一行（列）同乘以一个非零常数；

3. 某一行（列）同乘以多项式 $\varphi(\lambda)$ 加到另一行（列）.

定理 $3$

• 设 $A \in \mathbb{C^{n \times n}}$，则 $\lambda I_n - A$ 经过初等变换可化为如下 Smith 标准形

  $$S(\lambda) = \begin{pmatrix} d_1(\lambda) & & & \\ & d_2(\lambda) & & \\ & & \ddots & \\ & & & d_n(\lambda) \end{pmatrix}$$

  其中 $d_i(\lambda)$ 是首一多项式（最高次项系数为 $1$ 的多项式），$i = 1, 2, \cdots, n$，且 $d_i(\lambda) \mid d_{i+1}(\lambda), \; i = 1, 2, \cdots, n-1$. $d_i(\lambda)$ 称为 $A$ 的 不变因子.

由 初等变换求矩阵 $A$ 的 Jordan 标准形 的方法：

1. 用初等变换化特征矩阵 $\lambda I_n - A$ 为 Smith 标准形，求出 $A$ 的不变因子 $d_1(\lambda), d_2(\lambda), \cdots, d_n(\lambda)$.

2. 将 $A$ 的每个次数大于零的不变因子 $d_i(\lambda)$ 分解为互不相同的一次因式方幂的乘积，这些一次因式的方幂称为 $A$ 的 初等因子. 设 $A$ 的全部初等因子为：

   $$\newcommand{\primfac}[1]{(\lambda - \lambda_{#1})^{r_{#1}}} \primfac{1}, \; \primfac{2}, \; \cdots, \; \primfac{s}$$

   其中 $\lambda_1, \lambda_2, \cdots, \lambda_s$ 可能有相同的值，且 $r_1 + r_2 + \cdots + r_s = n$.

3. 写出每个初等因子 $(\lambda - \lambda_i)^{r_i}, i = 1, 2, \cdots, s$ 对应的 Jordan 块

   $$J_i = \begin{pmatrix} \lambda_i & 1 & & \\ & \lambda_i & \ddots & \\ & & \ddots & 1 \\ & & & \lambda_i \end{pmatrix}_{r_i \times r_i} \; (i = 1, 2, \cdots, s)$$

   以这些 Jodan 块构成的 Jordan 阵

   $$J = \begin{pmatrix} J_1 & & & \\ & J_2 & & \\ & & \ddots & \\ & & & J_s \end{pmatrix}$$

   即为 $A$ 的 Jordan 标准形.

定义 $2$

• 设 $A \in \mathbb{C^{m \times n}}$，$\lambda I_n - A$ 的所有 $k$ 阶子式 首一最大公因式 $D_k(\lambda)$ 称为 $A$ 的 $k$ 阶行列式因子，$k = 1,2,\cdots,n$.

定理 $4$

• 设 $A \in \mathbb{C^{m \times n}}$，$D_k(\lambda)$ 是 $A$ 的 $k$ 阶行列式因子，$d_k(\lambda)$ 是 $A$ 的不变因子，$k = 1,2,\cdots,n$，则

  $$\begin{aligned} d_1(\lambda) & = D_1(\lambda) \\ d_k(\lambda) & = D_k(\lambda) \mathop{/} D_{k-1}(\lambda), \; k = 2, 3, \cdots, n. \end{aligned}$$

由 行列式因子求矩阵 $A$ 的 Jordan 标准形 方法：

1. 求 $\lambda I_n - A$ 的 $n$ 个行列式因子 $D_1(\lambda), D_2(\lambda), \cdots, D_n(\lambda)$

2. 由 $d_1(\lambda) = D_1(\lambda), \; d_k(\lambda) = D_k(\lambda) \mathop{/} D_{k-1}(\lambda)$，求 $A$ 的不变因子.

3. 求 $A$ 的初等因子和 Jordan 标准形.

1.4 Hamilton-Cayley 定理

定理 $1$（Hamilton-Cayley 定理）

• 设 $A \in \mathbb{C^{n \times n}}$，$\varphi(\lambda) = \det (\lambda I_n - A)$，则 $\varphi(A) = O$.

📝 Notations

• 利用定理 $1$ 可以简化矩阵运算.

• 可逆矩阵逆的多项式表示：设 $A \in \mathbb{C^{n \times n}}$，

  $$\varphi(\lambda) = |\lambda I_n - A| = \lambda^n + a_1\lambda^{n-1} + \cdots + a_{n-1}\lambda + a_n$$

  若 $\det A \neq 0$（$A$ 可逆），则

  $$A^{-1} = -\dfrac{1}{a_n} \left( A^{n-1} + a_1A^{n-2} + \cdots + a_{n-1}I \right)$$

定义 $1$（零化多项式）

• 设 $A \in \mathbb{C^{n \times n}}$，$f(\lambda)$ 是多项式，如果 $f(A) = O$，则称 $f(\lambda)$ 为 $A$ 的 零化多项式.

定义 $2$（最小多项式）

• 设 $A \in \mathbb{C^{n \times n}}$，在 $A$ 的零化多项式中，次数最低的首一多项式，称为 $A$ 的 最小多项式，记为 $m_{A}(\lambda)$.

定理 $2$

• 设 $A \in \mathbb{C^{n \times n}}$，$\varphi(\lambda) = \det(\lambda I_n - A)$，又设 $D_{n-1}(\lambda)$ 是 $\lambda I_n - A$ 的 $n-1$ 阶行列式因子，则

  $$m_A(\lambda) = \dfrac{\varphi(\lambda )}{D_{n-1}(\lambda)}$$

定理 $3$

• 设 $A \in \mathbb{C^{n \times n}}$，则 $A$ 的最小多项式 $m_A(\lambda)$ 能整除 $A$ 的任一零化多项式，且最小多项式是唯一的.

定理 $4$

• 设 $A \in \mathbb{C^{n \times n}}$，$\lambda_1, \lambda_2, \cdots, \lambda_s$ 是 $A$ 的所有互不相同的特征值，则

  $$\newcommand{\lambfac}[1]{\left( \lambda -\lambda_{#1} \right)^{m_{#1}}} m_A(\lambda) = \lambfac{1}\lambfac{2}$$

  其中，$m_i$ 是 $A$ 的 Jordan 标准形 $J$ 中含 $\lambda_i$ 的 Jordan 块的最高阶数

1.5 向量的内积

定义 $1$（向量的内积）

• 设 $x = (x_1, x_2, \cdots, x_n)^{\scriptscriptstyle \mathrm{T}} \in \mathbb{C^n}$，$y = (y_1, y_2, \cdots, y_n)^{\scriptscriptstyle \mathrm{T}} \in \mathbb{C^n}$，令

  $$(x, y) = \sum_{i = 1}^{n} x_i\overline{y_i} = y^{\scriptscriptstyle \mathrm{H}} x$$

  称 $(x, y)$ 为 $x$ 与 $y$ 的 内积.（这里，$y^{\scriptscriptstyle \mathrm{H}} = (\overline{y_1}, \overline{y_2}, \cdots, \overline{y_n}) \in \mathbb{C^{1 \times n}}$）

定理 $1$

• 设 $x, y, z \in \mathbb{C^n}$，$\lambda \in \mathbb{C}$，则

  1. 酉对称性：

     $$(x, y) = \overline{(y, x)}$$

  2. 单线性性：

     $$\begin{aligned} & (x + y, z) = (x, z) + (y, z) \\ & (\lambda x, y) = \lambda(x, y), \; (x, \lambda y) = \overline{\lambda}(x, y) \end{aligned}$$

  3. 正定性：

     $$(x, x) \geq 0$$

     当且仅当 $x = 0$ 时，有 $(x, x) = 0$.

定义 $2$

• 设 $x = (x_1, x_2, \cdots, x_n)^{\scriptscriptstyle \mathrm{T}} \in \mathbb{C^n}$，令

  $$\Vert x \Vert = \sqrt{(x, x)} = \sqrt{\sum_{i=1}^{n}|x_i|^2} = \sqrt{x^{\scriptscriptstyle \mathrm{H}}x}$$

  称 $\| x \|$ 为向量 $x$ 的 长度 或 $2$ - 范数.

定理 $2$

• 设 $x, y \in \mathbb{C^n}$，$\lambda \in \mathbb{C}$，则

  1. 非负性：当 $x \neq 0$ 时，$\|x \| \gt 0$；当 $x = 0$ 时，$\| x \| = 0$；

  2. 齐次性：

  $$\|\lambda x\| = |\lambda| \| x \|$$
  3. 三角不等式：
  $$\| x+y \| \leq \| x \| + \| y \|$$

定理 $3$（Cauchy-Schwarz 不等式）

• 对任意 $x, y \in \mathbb{C^n}$，有

  $$|(x, y)| \leq \lVert x \rVert \lVert y \rVert$$

  即

  $$(x, y)(y, x) \leq (x, x)(y, y)$$

定义 $3$

• 设 $x, y \in \mathbb{C^n}$，若 $(x, y) = 0$，则称 $x$ 与 $y$ 正交，记作 $x \perp y$.

定理 $4$

• $\mathbb{C^n}$ 中两两正交的非零向量组线性无关.

定义 $4$

• 设 $x_1, x_2, \cdots, x_n$ 是 $\mathbb{C^{n}}$ 的一组基，若

  $$(x_i, x_j) = \delta_{ij} = \begin{cases} 0, & i \neq j, \\ 1, & i = j. \end{cases}$$

  则称 $x_1, x_2, \cdots, x_n$ 是 $\mathbb{C^n}$ 空间中的一组 标准正交基.

Schmidt 正交化

• 设 $x_1, x_2, \cdots, x_n$ 是 $\mathbb{C^n}$ 空间这的一组基，令

  $$\begin{aligned} y_1 &= x_1 \\ y_2 &= x_2 - \dfrac{(x_2, y_1)}{(y_1, y_1)} y_1 \\ y_3 &= x_3 - \dfrac{(x_3, y_1)}{(y_1, y_1)} y_1 - \dfrac{(x_3, y_2)}{(y_2, y_2)} y_2 \\ \cdots \\ y_n &= x_n - \dfrac{(x_n, y_1)}{(y_1, y_1)} y_1 - \dfrac{(x_n, y_2)}{(y_2, y_2)} y_2 - \cdots - \dfrac{(x_n, y_{n-1})}{(y_{n-1}, y_{n-1})} y_{n-1} \end{aligned}$$

  此时，$y_1, y_2, \cdots, y_n$ 两两正交（再进行单位化，即可得到一组标准正交基）.

定义 $5$（酉矩阵）

• 设 $A \in \mathbb{C^{n \times n}}$，若 $A$ 满足

  $$A^{\scriptscriptstyle \mathrm{H}}A = AA^{\scriptscriptstyle \mathrm{H}} = I$$

  则称 $A$ 为 酉矩阵.

📝 Notations

• 设 $A \in \mathbb{C^{n \times n}}$，则

  $$\begin{aligned} & A^{\scriptscriptstyle \mathrm{H}}A = AA^{\scriptscriptstyle \mathrm{H}} = I \\ \iff & A^{\scriptscriptstyle \mathrm{H}}A = I \\ \iff & AA^{\scriptscriptstyle \mathrm{H}} = I \\ \iff & A^{-1} = A^{\scriptscriptstyle \mathrm{H}} \end{aligned}$$

• 当 $A \in \mathbb{R^{n \times n}}$ 时，酉矩阵就是正交矩阵.

定理 $5$

• 设 $A \in \mathbb{C^{n \times n}}$ 是酉矩阵，则

  1. $|\det A| = 1$；

  2. $A^{\scriptscriptstyle \mathrm{T}}, \; A^{\scriptscriptstyle \mathrm{H}}, \; A^{-1}$ 仍为酉矩阵；

  3. 若 $B \in \mathbb{C^{n \times n}}$ 是酉矩阵，则 $AB$ 也是酉矩阵.

定理 $6$

• 设 $A = (x_1, x_2, \cdots, x_n) \in \mathbb{C^{n \times n}}$，则 $A$ 是酉矩阵的充要条件是 $x_1, x_2, \cdots, x_n$ 是 $\mathbb{C^n}$ 中的一组标准正交基.

1.6 矩阵的酉相似

定义 $1$（酉相似）

• 设 $A, B \in \mathbb{C^{n \times n}}$，若存在酉矩阵 $U$ 使得

  $$U^{-1}AU = U^{\scriptscriptstyle \mathrm{H}}AU = B$$

  则称 $A$ 和 $B$ 酉相似.

定理 $1$（Schur 分解定理）

• 设 $A \in \mathbb{C^{n \times n}}$，则 $A$ 可酉相似于 上三角矩阵 $T$，即存在 $n$ 阶酉矩阵 $U$，使得

  $$U^{-1}AU = U^{\scriptscriptstyle \mathrm{H}}AU = T = \begin{pmatrix} \lambda_1 & * & \cdots & * \\ & \lambda_2 & \ddots & \vdots \\ & & \ddots & * \\ & & & \lambda_n \end{pmatrix}$$

  其中 $\lambda_1, \lambda_2, \cdots, \lambda_n$ 是 $A$ 的特征值.

定义 $2$（正规矩阵）

• 设 $A \in \mathbb{C^{n \times n}}$，若 $A$ 满足

  $$A^{\scriptscriptstyle \mathrm{H}}A = AA^{\scriptscriptstyle \mathrm{H}}$$

  则称 $A$ 为 正规矩阵.

📝 Notations（正规矩阵的例子）

• 实对称阵：$A \in \mathbb{R^{n \times n}}, \; A^{\scriptscriptstyle \mathrm{T}} = A$；

• 实反对称阵：$A \in \mathbb{R^{n \times n}}, \; A^{\scriptscriptstyle \mathrm{T}} = -A$；

• 实正交矩阵：$A \in \mathbb{R^{n \times n}}, \; A^{\scriptscriptstyle \mathrm{T}}A = AA^{\scriptscriptstyle \mathrm{T}} = I$；

• Hermite 矩阵：$A \in \mathbb{C^{n \times n}}, \; A^{\scriptscriptstyle \mathrm{H}} = A$；

• 反 Hermite 矩阵：$A \in \mathbb{C^{n \times n}}, \; A^{\scriptscriptstyle \mathrm{H}} = -A$；

• 酉矩阵：$A \in \mathbb{C^{n \times n}}, \; A^{\scriptscriptstyle \mathrm{H}}A = AA^{\scriptscriptstyle \mathrm{H}} = I$.

定理 $2$

• 设 $A \in \mathbb{C^{n \times n}}$，则 $A$ 可以酉相似对角化的充要条件是

  $$A^{\scriptscriptstyle \mathrm{H}}A = AA^{\scriptscriptstyle \mathrm{H}}$$

  即 $A$ 为正规矩阵.

定理 $3$

• 设 $A \in \mathbb{C^{n \times n}}$ 是正规矩阵，则

  1. $A$ 是 Hermite 矩阵 $\iff$ $A$ 的特征值全是实数；

  2. $A$ 是反 Hermite 矩阵 $\iff$ $A$ 的特征值是 $0$ 或纯虚数；

  3. $A$ 是酉矩阵 $\iff$ $A$ 的特征值的模是 $1$；

  4. $\lambda$ 是 $A$ 的特征值，$x$ 是对应 $\lambda$ 的特征向量，则 $\overline{\lambda}$ 是 $A^{\scriptscriptstyle \mathrm{H}}$ 的特征值，对应 $\overline{\lambda}$ 的特征向量仍为 $x$.

酉相似对角化方法：

1. 求出 $A$ 的全部特征值，设 $\lambda_1, \lambda_2, \cdots, \lambda_s$ 是 $A$ 的互不相同的特征值，其重数分别为 $r_1, r_2, \cdots, r_s$，且 $r_1 + r_2 + \cdots + r_s = n$.

2. 对于特征值 $\lambda_i, \, i = 1,2,\cdots,s$，求出对应的 $r_i$ 个线性无关的特征向量 $p_{i1}, p_{i2}, \cdots, p_{ir_i}, \, i = 1,2,\cdots,s$.

3. 用 Schmidt 正交化方法将 $p_{i1}, p_{i2}, \cdots, p_{ir_i}$ 正交化再单位化得 $u_{i1}, u_{i2}, \cdots, u_{ir_i}, \, i = 1,2,\cdots,s$，则酉矩阵

   $$\begin{aligned} & U = \left( u_{11}, \cdots, u_{1r_1}, u_{21}, \cdots, u_{2r_2}, \cdots, u_{s1}, \cdots, u_{sr_s}, \right) \\ \\ & U^{-1}AU = U^{\scriptscriptstyle \mathrm{H}}AU = \Lambda = \begin{pmatrix} \lambda_1 I_{r_1} & & & \\ & \lambda_2 I_{r_2} & & \\ & & \ddots & \\ & & & \lambda_s I_{r_s} \end{pmatrix} \end{aligned}$$

定义 $3$

• 设 $A \in \mathbb{C^{n \times n}}$ 是一个 Hermite 矩阵，如果

  $$x^{\scriptscriptstyle \mathrm{H}}Ax \gt 0, \; \forall x \in \mathbb{C^n}, x \neq 0$$

  则称 $A$ 是一个 正定 的 Hermite 矩阵.

  如果

  $$x^{\scriptscriptstyle \mathrm{H}}Ax \geq 0, \; \forall x \in \mathbb{C^n}$$

  则称 $A$ 是一个 非负定（半正定）的 Hermite 矩阵.

定理 $4$（正定 Hermite 矩阵的性质）

• 设 $A \in \mathbb{C^{n \times n}}$ 是 Hermite 矩阵，则下述条件等价：

  1. $A$ 是正定的 Hermite 矩阵；

  2. $A$ 的特征值全为正数；

  3. 存在可逆矩阵 $P$，使得 $A = P^{\scriptscriptstyle \mathrm{H}}P$；

  4. $A$ 的顺序主子式全为正数.

定理 $5$（非负定 Hermite 矩阵的性质）

• 设 $A \in \mathbb{C^{n \times n}}$ 是 Hermite 矩阵，则下述条件等价：

  1. $A$ 是非负定的 Hermite 矩阵；

  2. $A$ 的特征值全为非负数；

  3. 存在矩阵 $P$，使得 $A = P^{\scriptscriptstyle \mathrm{H}}P$.

定理 $6$

• 设 $A \in \mathbb{C^{n \times n}}$，则

  1. $A^{\scriptscriptstyle \mathrm{H}}A$ 和 $AA^{\scriptscriptstyle \mathrm{H}}$ 的特征值全为非负实数；

  2. $A^{\scriptscriptstyle \mathrm{H}}A$ 和 $AA^{\scriptscriptstyle \mathrm{H}}$ 的非零特征值相同；

  3. $\operatorname{rank}(A^{\scriptscriptstyle \mathrm{H}}A) = \operatorname{rank}(AA^{\scriptscriptstyle \mathrm{H}}) = \operatorname{rank}(A)$.

第二章 范数理论

2.1 向量的范数

定义 $1$（向量范数）

• 设 $\lVert\cdot\rVert$ 是 $\mathbb{C^n}$ 上一个泛函，满足

  1. 正定性：

     $$\forall x \in \mathbb{C^n}, \, \lVert x \rVert \ge 0$$

     且 $\lVert x \rVert = 0$ 当且仅当 $x = 0$.

  2. 齐次性：

     $$\forall \lambda\in\mathbb{C}, \, x \in \mathbb{C^n}, \, \lVert \lambda x \rVert = \lvert \lambda \rvert \cdot \lVert x \rVert$$

  3. 三角不等式：

     $$\forall x,y \in \mathbb{C^n}, \, \lVert x+y \rVert \le \lVert x \rVert + \lVert y \rVert$$

     则称 $\lVert \cdot \rVert$ 是 $\mathbb{C^n}$ 上的一个 向量范数.

定理 $1$

• 对任意 $x, y \in \mathbb{C^n}$，有

  1. $\lVert x \rVert = \lVert -x \rVert$

  2. $\newcommand{\norm}[1]{\lVert #1 \rVert} \big \lvert \norm{x} - \norm{y} \big \rvert \le \norm{x-y}$

定义 $2$

• 设 $x = (x_1, x_2, \dotsc, x_n)^{\scriptscriptstyle \mathrm{T}} \in \mathbb{C^n}$，定义

  $$\newcommand{\norm}[1]{\lVert #1 \rVert} \newcommand{\abs}[1]{\lvert #1 \rvert} \begin{aligned} \norm{x}_1 \; & = \sum_{i = 1}^n \abs{x_i} \\ \norm{x}_2 \; & = \left( \sum_{i = 1}^{n} \abs{x_i}^2 \right)^{\frac{1}{2}} \\ \norm{x}_p \; & = \left( \sum_{i = 1}^{n} \abs{x_i}^p \right)^{\frac{1}{p}}, \, 1 \le p \lt +\infty \\ \norm{x}_{\infty} & = \max_{1 \le i \le n} \, \abs{x_i} \end{aligned}$$

  可以验证 $\newcommand{\normx}[2]{\lVert #1 \rVert_{#2}} \normx{\cdot}{1}, \; \normx{\cdot}{2}, \; \normx{\cdot}{p}, \; \normx{\cdot}{\infty}$ 均是 $\mathbb{C^n}$ 上的向量范数，分别称为 $1$ - 范数，$2$ - 范数，$p$ - 范数 和 $\infty$ - 范数.

Hölder 不等式

• 对任意 $x_i, y_i \in \mathbb{C}, \, i = 1, 2, \dotsc, n$，有

  $$\sum_{i=1}^{n} \lvert x_iy_i \rvert \le \left( \sum_{i=1}^{n} \lvert x_i \rvert^{p} \right)^{\frac{1}{p}} \left( \sum_{i=1}^{n} \lvert y_i \rvert^{q} \right)^{\frac{1}{q}}$$

  其中 $1\le p, q \le +\infty$ 且 $\dfrac{1}{p} + \dfrac{1}{q} = 1$.

Minkowski 不等式（$p$ - 范数的三角不等式）

• 对任意 $x_i, y_i \in \mathbb{C}, \, i = 1, 2, \dotsc, n$，有

  $$\newcommand{\unit}[1]{\left( \sum_{i=1}^{n} \lvert #1 \rvert^{p} \right)^{\frac{1}{p}}} \unit{x_i + y_i} \le \unit{x_i} + \unit{y_i}$$

  其中 $1 \le p \lt +\infty$.

定理 $2$

• $\forall x \in \mathbb{C^n}, \; \lim\limits_{p\to\infty} \lVert x \rVert_p = \lVert x \rVert_{\infty}$.

📝 Notations

• 如果 $A \in \mathbb{C^{n \times n}}$ 是 Hermite 正定矩阵，则 $\lVert x \rVert_{A} = \sqrt{x^{\scriptscriptstyle \mathrm{H}}Ax}, \, x \in \mathbb{C^n}$ 也是 $\mathbb{C^n}$ 上的向量范数.

定义 $3$

• 设 $\lVert \cdot \rVert_{\mathrm{v}_1}$ 与 $\lVert \cdot \rVert_{\mathrm{v}_2}$ 是 $\mathbb{C^n}$ 上两个向量范数，如果存在常数 $c_1, c_2 \gt 0$，使得

  $$\forall x \in \mathbb{C^n}, \; c_1 \lVert x \rVert_{\mathrm{v}_1} \le \lVert x \rVert_{\mathrm{v}_2} \le c_2 \lVert x \rVert_{\mathrm{v}_1}$$

  则称向量范数 $\lVert \cdot \rVert_{\mathrm{v}_1}$ 和 $\lVert \cdot \rVert_{\mathrm{v}_2}$ 等价.

向量范数的等价是 等价关系：

• 自反性：所有范数与自己等价.

• 对称性：若向量范数 $\lVert \cdot \rVert_{\mathrm{v}_1}$ 与 $\lVert \cdot \rVert_{\mathrm{v}_2}$ 等价，则向量范数 $\lVert \cdot \rVert_{\mathrm{v}_2}$ 与 $\lVert \cdot \rVert_{\mathrm{v}_1}$ 等价.

• 传递性：若向量范数 $\lVert \cdot \rVert_{\mathrm{v}_1}$ 与 $\lVert \cdot \rVert_{\mathrm{v}_2}$ 等价，且向量范数 $\lVert \cdot \rVert_{\mathrm{v}_2}$ 与 $\lVert \cdot \rVert_{\mathrm{v}_3}$ 等价，则向量范数 $\lVert \cdot \rVert_{\mathrm{v}_1}$ 与 $\lVert \cdot \rVert_{\mathrm{v}_3}$ 等价.

定理 $3$

• $\mathbb{C^n}$ 上所有向量范数等价.

定义 $4$

• 设 $\def\k{\scriptscriptstyle \left(k\right)} x^{\k} = \left(x_1^{\k}, x_2^{\k}, \dotsc, x_n^{\k} \right)^{\scriptscriptstyle \mathrm{T}} \in \mathbb{C^n}$，$k = 1, 2, \dotsc$ 是一个向量序列，如果

  $$\lim_{k \to \infty} x_i^{\scriptscriptstyle \left(k\right)} = x_i, \, i = 1, 2, \dotsc, n$$

  则称向量序列 $\lbrace x^{\scriptscriptstyle \left(k\right)} \rbrace$ 收敛于 $x = (x_1, x_2, \dotsc, x_n)^{\scriptscriptstyle \mathrm{T}}$，记为

  $$\lim_{k \to \infty} x^{\scriptscriptstyle \left(k\right)} = x$$

  否则，称 $\lbrace x^{\scriptscriptstyle \left(k\right)} \rbrace$ 发散.

定理 $4$

• $$\def\k{\scriptscriptstyle \left(k\right)} \lim_{k \to \infty}x^{\k} = x \iff \lim_{k \to \infty} \lVert x^{\k} - x \rVert = 0$$

  其中，$\lVert \cdot \rVert$ 是 $\mathbb{C^n}$ 上任一向量范数.

2.2 矩阵范数

定义 $1$（矩阵范数）

• 设 $\lVert \cdot \rVert$ 是 $\mathbb{C^{n \times n}}$ 上的一个泛函，满足

  1. 正定性：

     $$\forall A \in \mathbb{C^{n \times n}}, \; \lVert A \rVert \ge 0$$

     其中 $\lVert A \rVert = 0$ 当且仅当 $A = O$.

  2. 齐次性：

     $$\forall \lambda \in \mathbb{C}, A \in \mathbb{C^{n \times n}}, \; \lVert \lambda A \rVert = \lvert \lambda \rvert \lVert A \rVert$$

  3. 三角不等式：

     $$\forall A, B \in \mathbb{C^{n \times n}}, \; \lVert A+B \rVert \le \lVert A \rVert + \lVert B \rVert$$

  4. 乘积不等式（相容性）：

     $$\forall A, B \in \mathbb{C^{n \times n}}, \; \lVert AB \rVert \le \lVert A \rVert \cdot \lVert B \rVert$$

  则称 $\lVert \cdot \rVert$ 是 $\mathbb{C^{n \times n}}$ 上的一个 矩阵范数.

定义 $2$

• 设 $A = \left( a_{ij} \right) \in \mathbb{C^{n \times n}}$，定义

  • $\mathrm{m}_1$ - 范数：

    $$\newcommand{\abs}[1]{\lvert #1 \rvert} \newcommand{\norm}[1]{\lVert #1 \rVert} \norm{A}_{\mathrm{m}_1} = \sum_{i=1}^n \sum_{j=1}^n \abs{a_{ij}}$$

  • $\mathrm{F}$ - 范数：

    $$\newcommand{\abs}[1]{\lvert #1 \rvert} \newcommand{\norm}[1]{\lVert #1 \rVert} \def\H{\scriptscriptstyle \mathrm{H}} \norm{A}_{\mathrm{F}} = \left( \sum_{i=1}^n \sum_{j=1}^n \abs{a_{ij}}^2 \right)^{\frac{1}{2}} = \sqrt{\operatorname{tr} \left( AA^{\H} \right)}$$

  • $\mathrm{m}_{\infty}$ - 范数：

    $$\newcommand{\abs}[1]{\lvert #1 \rvert} \newcommand{\norm}[1]{\lVert #1 \rVert} \norm{A}_{\mathrm{m}_{\infty}} = n \cdot \max_{1 \le i,j \le n} \abs{a_{ij}}$$

定义 $3$

• 设 $\lVert \cdot \rVert_{\mathrm{m}}$ 是 $\mathbb{C^{n \times n}}$ 上的矩阵范数，$\lVert \cdot \rVert_{\mathrm{v}}$ 是 $\mathbb{C^n}$ 上的向量范数，如果对任意 $A \in \mathbb{C^{n \times n}}$，$x \in \mathbb{C^n}$，

  $$\lVert Ax \rVert_{\mathrm{v}} \le \lVert A \rVert_{\mathrm{m}} \cdot \lVert x \rVert_{\mathrm{v}}$$

  则称矩阵范数 $\lVert \cdot \rVert_{\mathrm{m}}$ 与向量范数 $\lVert \cdot \rVert_{\mathrm{v}}$ 相容.

定理 $1$

• 矩阵范数 $\lVert \cdot \rVert_{\mathrm{m}_1}, \, \lVert \cdot \rVert_{\mathrm{F}}$ 分别与 $\lVert \cdot \rVert_{1}, \, \lVert \cdot \rVert_{2}$ 相容；

• 矩阵范数 $\lVert \cdot \rVert_{\mathrm{m}_{\infty}}$ 与向量范数 $\lVert \cdot \rVert_{1}, \, \lVert \cdot \rVert_{2}, \, \lVert \cdot \rVert_{\infty}$ 相容.

定义 $4$（由矩阵范数诱导的向量范数）

• 设 $\lVert \cdot \rVert_{\mathrm{m}}$ 是 $\mathbb{C^{n \times n}}$ 上的一个矩阵范数，取 $a \in \mathbb{C^n}$，且 $a \neq 0$. 定义

  $$\lVert x \rVert_{\mathrm{v}} = \lVert xa^{\scriptscriptstyle \mathrm{H}} \rVert_{\mathrm{m}}, \; x \in \mathbb{C^n}$$

  可以证明，它是 $\mathbb{C}^n$ 上的向量范数，称为由矩阵范数 $\lVert \cdot \rVert_{\mathrm{m}}$ 所 诱导的 向量范数.

定理 $2$

• $\mathbb{C^{n \times n}}$ 是任意一矩阵范数 $\lVert \cdot \rVert_{\mathrm{m}}$ 与它所诱导的向量范数 $\lVert \cdot \rVert_{\mathrm{v}}$ 相容.

定义 $5$（由向量范数诱导的矩阵范数）

• 设 $\lVert \cdot \rVert_{\mathrm{v}}$ 是 $\mathbb{C^n}$ 上一个向量范数，定义

  $$\newcommand{\norm}[1]{\lVert #1 \rVert} \def\v{\mathrm{v}} \norm{A}_{\mathrm{m}} = \max_{\norm{x}_{\v} = 1} \norm{Ax}_{\v} = \max_{x \neq 0} \dfrac{\norm{Ax}_{\v}}{\norm{x}_{\v}}, \, A \in \mathbb{C^{n \times n}}$$

  可以证明（下面的定理 $3$），它是 $\mathbb{C^{n \times n}}$ 上的矩阵范数，称为由向量范数 $\lVert \cdot \rVert_{\mathrm{v}}$ 诱导的 矩阵范数，简称 从属范数.

定理 $3$

• 设 $\lVert \cdot \rVert_{\mathrm{v}}$ 是 $\mathbb{C^n}$ 上任一向量范数，则它所诱导的 $\lVert \cdot \rVert_{\mathrm{m}}$ 为一个矩阵范数且与其相容.

定理 $4$

• 设 $A = (a_{ij})_{n \times n} \in \mathbb{C^{n \times n}}$，记由向量 $1$，$2$，$\infty$ 范数导出的矩阵范数分别为 $\lVert A \rVert_{1}$，$\lVert A \rVert_{2}$，$\lVert A \rVert_{\infty}$，则有

  $$\newcommand{\norm}[1]{\lVert #1 \rVert} \newcommand{\abs}[1]{\lvert #1 \rvert} \begin{aligned} \norm{A}_1 \; &= \max_j \sum_{i=1}^n \abs{a_{ij}} \\ \norm{A}_2 \; &= \sqrt{\lambda_1} \\ \norm{A}_{\infty} &= \max_i \sum_{j=1}^n \abs{a_{ij}} \\ \end{aligned}$$

  其中，$\lambda_1$ 是 $A^{\scriptscriptstyle \mathrm{H}}A$ 的最大特征值.

  分别称 $\lVert A \rVert_{1}$，$\lVert A \rVert_{2}$ 和 $\lVert A \rVert_{\infty}$ 为矩阵的 $1$ - 范数，$2$ - 范数 和 $\infty$ - 范数.

定理 $5$

• 设 $A \in \mathbb{C^{n \times n}}$，则

  1. $\lVert A^{\scriptscriptstyle \mathrm{H}} \rVert_{\mathrm{F}} = \lVert A \rVert_{\mathrm{F}}$，$\lVert A^{\scriptscriptstyle \mathrm{H}} \rVert_{2} = \lVert A \rVert_{2}$

  2. 酉不变性：对任意酉矩阵 $U, V \in \mathbb{C^{n \times n}}$，有

     $$\newcommand{\norm}[1]{\lVert #1 \rVert} \def \F{\mathrm{F}} \begin{aligned} \norm{UA}_{\F} &= \norm{AV}_{\F} = \norm{UAV}_{\F} \\ \norm{UA}_{2} &= \norm{AV}_{2} = \norm{UAV}_{2} \end{aligned}$$

  3. 若 $A$ 是正规矩阵，且 $\lambda_1, \lambda_2, \dotsc, \lambda_n$ 是 $A$ 的 $n$ 个特征值，则

     $$\lVert A \rVert_{2} = \max_k \, \lvert \lambda_k \rvert$$

定理 $6$

• $\mathbb{C^{n \times n}}$ 上所有矩阵范数等价.

长方阵的范数

对方阵范数的定义稍作修改可以推广到 $m \times n$ 矩阵的情形：

• 矩阵范数的 相容性：对任意 $A \in \mathbb{C^{m \times n}}$，$B \in \mathbb{C^{n \times l}}$ 有

  $$\lVert AB \rVert \le \lVert A \rVert \cdot \lVert B \rVert$$

• 矩阵范数 与向量范数的相容性：对任意 $A \in \mathbb{C^{m \times n}}$，$x \in \mathbb{C^{n}}$ 有

  $$\lVert Ax \rVert \le \lVert A \rVert \cdot \lVert x \rVert$$

• 从属范数：

  $$\newcommand{\norm}[1]{\lVert #1 \rVert} \def \v{\mathrm{v}} \norm{A} = \max_{\norm{x}_{\v} = 1} \, \norm{Ax}_{\v} = \max_{x \neq 0} \, \dfrac{\norm{Ax}_{\v}}{\norm{x}_{\v}}, \, A \in \mathbb{C^{m \times n}}$$

  其中 $\lVert Ax \rVert_{\mathrm{v}}$ 是 $\mathbb{C^m}$ 上的范数，$\lVert x \rVert_{\mathrm{v}}$ 是 $\mathbb{C^n}$ 上的范数，它们应取为同类的向量范数.

常用矩阵范数

设 $A \in \mathbb{C^{m \times n}}$，

• $\mathrm{m_1}$ 范数：

  $$\lVert A \rVert_{\mathrm{m}_1} = \sum_{i=1}^{m} \sum_{j=1}^{n} \, \lvert a_{ij} \rvert$$

• $\mathrm{F}$ 范数：

  $$\lVert A \rVert_{\mathrm{F}} = \sqrt{ \sum_{i=1}^{m} \sum_{j=1}^{n} \, \lvert a_{ij} \rvert^2 } = \sqrt{\operatorname{tr}( A^{\scriptscriptstyle \mathrm{H}}A )}$$

• $\mathrm{M}$ 范数（最大范数）：

  $$\lVert A \rVert_{\mathrm{M}} = \max\{m, n\} \, \max_{i, j} \lvert a_{ij} \rvert$$

• $\mathrm{G}$ 范数（几何平均范数）：

  $$\lVert A \rVert_{\mathrm{G}} = \sqrt{nm} \, \max_{i, j} \lvert a_{ij} \rvert$$

• $1$ 范数（列和范数）

  $$\lVert A \rVert_{1} = \max_{j} \sum_{i=1}^{m} \, \lvert a_{ij} \rvert$$

• $2$ 范数（谱范数）

  $$\lVert A \rVert_{2} = \sqrt{ A^{\scriptscriptstyle \mathrm{H}}A \, \text{的最大特征值} }$$

• $\infty$ 范数（行和范数）

  $$\lVert A \rVert_{\infty} = \max_{i} \sum_{j=1}^{n} \, \lvert a_{ij} \rvert$$

• 矩阵范数的性质：

  1. $\mathrm{F}$ 范数和 $2$ 范数是 酉不变 的.

  2. $\mathrm{m}_1$ 范数与向量 $1$ 范数相容；

     $\mathrm{F}$ 范数、$\mathrm{G}$ 范数与向量 $2$ 范数相容；

     $\mathrm{M}$ 范数与向量 $1, 2, \infty$ 范数相容.

  3. 矩阵的 $1, 2, \infty$ 范数分别由向量 $1, 2, \infty$ 范数导出，从而相容.

  4. $\mathbb{C^{m \times n}}$ 上所有矩阵范数 等价.

2.3 范数应用举例

定义 $1$（矩阵的谱半径）

• 设 $A \in \mathbb{C^{n \times n}}$，$\lambda_1, \lambda_2, \dotsc, \lambda_n$ 是 $A$ 的特征值，则称

  $$\rho(A) = \max_{1 \le i \le n} \, \lvert \lambda_i \rvert$$

  为矩阵 $A$ 的 谱半径.

定理 $1$

• 设 $A \in \mathbb{C^{n \times n}}$，则

  1. $\rho(A^{\scriptscriptstyle \mathrm{H}}) = \rho(A^{\scriptscriptstyle \mathrm{T}}) = \rho(A)$

  2. $\rho(A^k) = \left[ \rho(A) \right]^k$

  3. 当 $A$ 是正规矩阵时，$\rho(A) = \lVert A \rVert_2$

定理 $2$

• $\rho(A) \le \lVert A \rVert$，其中 $\lVert A \rVert$ 是 $A$ 的任一矩阵范数.

定理 $3$

• 设 $A \in \mathbb{C^{n \times n}}$，则 $\forall \varepsilon \gt 0$，必存在 $\mathbb{C^{n \times n}}$ 上的矩阵范数 $\lVert \cdot \rVert_{\mathrm{m}}$，使得

  $$\lVert A \rVert_{\mathrm{m}} \le \rho(A) + \varepsilon$$

引理

• 设 $P \in \mathbb{C^{n \times n}}$，若对 $\mathbb{C^{n \times n}}$ 上的某一矩阵范数 $\lVert \cdot \rVert$，有 $\lVert P \rVert \lt 1$，则 $I - P$ 可逆.

定理 $4$

• 设 $A \in \mathbb{C_{n}^{n \times n}}$，$\delta A \in \mathbb{C^{n \times n}}$. 若对 $\mathbb{C^{n \times n}}$ 上的某一矩阵范数 $\lVert \cdot \rVert$，有 $\lVert A^{-1}\delta A \rVert \lt 1$ ，则

  1. $A + \delta A$ 可逆；

  2. $\lVert (A + \delta A)^{-1} \rVert \le \dfrac{\lVert A^{-1} \rVert}{1 - \lVert A^{-1}\delta A \rVert}$

  3. $\dfrac{\lVert A^{-1} - (A + \delta A)^{-1} \rVert}{\lVert A^{-1} \rVert} \le \dfrac{\lVert A^{-1}\delta A \rVert}{1 - \lVert A^{-1}\delta A \rVert}$

定义 $2$（条件数）

• 设 $A \in \mathbb{C_{n}^{n \times n}}$，$\lVert \cdot \rVert$ 是 $\mathbb{C^{n \times n}}$ 上的某一矩阵范数，称

  $$\operatorname{cond}(A) = \lVert A \rVert \, \lVert A^{-1} \rVert$$

  为矩阵 $A$ 的 条件数（condition number）.

推论

• 设 $A \in \mathbb{C_{n}^{n \times n}}$，$\delta A \in \mathbb{C^{n \times n}}$，若对 $\mathbb{C^{n \times n}}$ 上的某一矩阵范数 $\lVert \cdot \rVert$，有 $\lVert A^{-1} \rVert \lVert \delta A \rVert \lt 1$ ，则

  $$\newcommand{\norm}[1]{\lVert #1 \rVert} \def \cond{\operatorname{cond}} \def \dA{\delta A} \dfrac{\norm{A^{-1} - (A + \dA)^{-1}}}{\norm{A^{-1}}} \le \dfrac{\cond (A) \dfrac{\norm{\dA}}{\norm{A}}}{1 - \cond (A) \dfrac{\norm{\dA}}{\norm{A}}}$$

定理 $5$

• 设 $A \in \mathbb{C_{n}^{n \times n}}$，$\delta A \in \mathbb{C^{n \times n}}$，$b, \delta b \in \mathbb{C^n}$，若对 $\mathbb{C^{n \times n}}$ 上的某一矩阵范数 $\lVert \cdot \rVert$，有 $\left \Vert A^{-1} \right \Vert \big \lVert \delta A \big \rVert \lt 1$，则非齐次线性方程组

  $$Ax = b$$

  与

  $$(A + \delta A)(x + \delta x) = b + \delta b$$

  的解满足

  $$\newcommand{\norm}[1]{\left\Vert #1 \right\Vert} \def \cond{\operatorname{cond}} \def \dA{\delta A} \def \v{\mathrm{v}} \newcommand{\unit}[2]{\dfrac{\norm{\delta #1}_{#2}}{\norm{#1}_{#2}}} \unit{x}{\v} \le \dfrac{\cond(A)}{1 - \cond(A)\unit{A}{}} \left( \unit{A}{} + \unit{b}{\v} \right)$$

  其中 $\lVert \cdot \rVert_{\mathrm{v}}$ 是 $\mathbb{C^n}$ 上与矩阵范数 $\lVert \cdot \rVert$ 相容的向量范数.

📝 Notations

• 如果矩阵 $A$ 的条件数很大，则称 $A$ 对于求逆矩阵或求解线性方程组是 病态的（坏条件的），否则，称为 良态的（好条件的）.

参考资料：

1. 矩阵论 (武汉理工大学)

2. 矩阵论简明教程（第三版）. 徐仲，张凯院，陆全，冷国伟 编著