线性代数及其应用 第五章

第 5 章 特征值与特征向量

本章的目的是剖析线性变换 $\mathit{A}\mapsto \mathit{A}\mathit{x}$ 的作用，把它分解为容易理解的元素。出现矩阵均为方阵。

5.1 特征向量与特征值

定义 $$ $\mathit{A}$ 为 $n\times n$ 矩阵，$\mathit{x}$ 为非零向量，若存在数 $\lambda$ 使 $\mathit{A}\mathit{x}=\lambda \mathit{x}$ 有非平凡解 $\mathit{x}$，则称 $\lambda$ 为 $\mathit{A}$ 的特征值，$\mathit{x}$ 称为对应于 $\lambda$ 的特征向量。

验证 $\mathit{x}$ 是否为 $\mathit{A}$ 的特征向量是简单的。若要验证 $\lambda$ 是否为 $\mathit{A}$ 的特征值，只需求方程 $\mathit{A}\mathit{x}=\lambda \mathit{x}$ 是否有非平凡解。于是 $(\mathit{A}-\lambda \mathit{I})\mathit{x}=\mathbf{0}$，观察 $\mathit{A}-\lambda \mathit{I}$ 的各列是否线性相关即可。如果是的话，解这个方程就能得出所有 $\lambda$ 对应的特征向量。

方程 $(\mathit{A}-\lambda \mathit{I})\mathit{x}=\mathbf{0}$ 的解集就是矩阵 $\mathit{A}-\lambda \mathit{I}$ 的零空间，它是 ${\mathbb{R}}^n$ 的子空间，称为 $\mathit{A}$ 对应于 $\lambda$ 的特征空间。特征空间由零向量和所有对应于 $\lambda$ 的特征向量组成。

定理 1

三角形矩阵的主对角线的元素是其特征值。

假设 $\mathit{A}$ 是 $3\times 3$ 上三角形矩阵，则

$$\mathit{A}-\lambda \mathit{I}=\left[\begin{array}{ccc}{a}_{11}-\lambda & a_{12}& a_{13}\\ 0& a_{22}-\lambda & a_{23}\\ 0& 0& a_{33}-\lambda \end{array}\right]$$

当方程 $(\mathit{A}-\lambda \mathit{I})\mathit{x}=\mathbf{0}$ 存在非平凡解，主对角线元素至少有一个为零，当 $\lambda$ 取 $a_{11},a_{22},a_{33}$ 满足条件，它们就是 $\mathit{A}$ 的特征值。$\mathit{A}$ 是下三角形矩阵是同理。得证。

$0$ 是 $\mathit{A}$ 的特征值当且仅当 $\mathit{A}$ 不可逆，也就是 $\mathit{A}\mathit{x}=0\mathit{x}=\mathbf{0}$ 有非平凡解。

定理 2

${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_r$ 是 $n\times n$ 矩阵 $\mathit{A}$ 相异的特征值，${\mathit{v}}_1,\mathit{v}-2,\cdots ,{\mathit{v}}_r$ 是与 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_r$ 对应的特征向量，那么向量集合 $\{{\mathit{v}}_1,{\mathit{v}}_2,\cdots ,{\mathit{v}}_r\}$ 线性无关。

反证法。假设 $\{{\mathit{v}}_1,{\mathit{v}}_2,\cdots ,{\mathit{v}}_r\}$ 线性相关。${\mathit{v}}_1$ 非零，令 $p$ 是最小的满足 $v_{p+1}$ 是前面向量的线性组合的下标。即存在 $c_1,c_2,\cdots ,c_p$ 满足

$$c_1{\mathit{v}}_1+c_2{\mathit{v}}_2+\cdots +c_p{\mathit{v}}_p={\mathit{v}}_{p+1}$$

左右同乘 $\mathit{A}$：

$$c_1{\lambda }_1{\mathit{v}}_1+c_2{\lambda }_2{\mathit{v}}_2+\cdots +c_p{\lambda }_p{\mathit{v}}_p={\lambda }_{p+1}{\mathit{v}}_{p+1}$$

将前式乘 ${\lambda }_{p+1}$，作差可得

$$c_1({\lambda }_1-{\lambda }_{p+1}){\mathit{v}}_1+c_2({\lambda }_2-{\lambda }_{p+1}){\mathit{v}}_2+\cdots +c_p({\lambda }_p-{\lambda }_{p+1}){\mathit{v}}_p=\mathbf{0}$$

因为 $\{{\mathit{v}}_1,{\mathit{v}}_2,\cdots ,{\mathit{v}}_p\}$ 线性无关，${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_{p+1}$ 相异，$\mathrm{\forall }i,c_i=0$，则 ${\mathit{v}}_{p+1}=\mathbf{0}$，矛盾。则 $\{{\mathit{v}}_1,{\mathit{v}}_2,\cdots ,{\mathit{v}}_r\}$ 线性无关。得证。

特征向量与差分方程

对于一阶差分方程

$${\mathit{x}}_{k+1}=\mathit{A}{\mathit{x}}_k(k=0,1,2,\cdots )$$

构造解的最简单方法是取 $\mathit{A}$ 的一个特征向量 ${\mathit{x}}_0$ 与其对应特征值 $\lambda$，它的解就是

$${\mathit{x}}_k={\lambda }^k{\mathit{x}}_0(k=1,2,\cdots )$$

5.2 特征方程

求 $n\times n$ 矩阵 $\mathit{A}$ 的特征值，即求出所有 $\lambda$ 使得 $det(\mathit{A}-\lambda \mathit{I})=0$。将行列式展开会得到关于 $\lambda$ 的一个 $n$ 次方程。称数值方程 $det(\mathit{A}-\lambda \mathit{I})=0$ 为 $\mathit{A}$ 的特征方程，$det(\mathit{A}-\lambda \mathit{I})=0$ 称为 $\mathit{A}$ 的特征多项式。$\lambda$ 是 $\mathit{A}$ 的特征值的充要条件是 $\lambda$ 是该方程的根。

$\mathit{A}=\left[\begin{array}{cccc}5& 0& 0& 0\\ 0& 3& 0& 0\\ 0& 0& 5& 0\\ 0& 0& 0& 1\end{array}\right]$ 的特征方程是 $(5-\lambda {)}^2(3-\lambda )(1-\lambda )=0$，此时称特征值 $5$ 有重数 $2$。把特征值 $\lambda$ 作为特征方程根的重数称为 $\lambda$ 的（代数）重数。

相似性

下列定理说明了特征多项式的一个用途，为某些近似计算特征值的迭代算法提供了理论基础。

假设 $\mathit{A},\mathit{B}$ 是 $n\times n$ 矩阵，存在可逆矩阵 $\mathit{P}$ 使得 ${\mathit{P}}^{-1}\mathit{A}\mathit{P}=\mathit{B}$（等价地，$\mathit{A}=\mathit{P}\mathit{B}{\mathit{P}}^{-1}$），称 $\mathit{A}$ 相似于 $\mathit{B}$。同时 $\mathit{P}\mathit{B}{\mathit{P}}^{-1}=\mathit{A}$，$\mathit{B}$ 也相似于 $\mathit{A}$，说 $\mathit{A}$ 和 $\mathit{B}$ 是相似的。把 $\mathit{A}$ 变成 $P^{-1}\mathit{A}\mathit{P}$ 的变换称为相似变换。

定理 3

若 $n\times n$ 矩阵 $\mathit{A}$ 和 $\mathit{B}$ 是相似的，那么它们有相同的特征多项式，从而有相同的特征值（和相同的重数）。

有 $\mathit{B}={\mathit{P}}^{-1}\mathit{A}\mathit{P}$，那么

$$\mathit{B}-\lambda \mathit{I}={\mathit{P}}^{-1}\mathit{A}\mathit{P}-\lambda {\mathit{P}}^{-1}\mathit{P}={\mathit{P}}^{-1}(\mathit{A}-\lambda \mathit{I})\mathit{P}$$

则

$$\begin{array}{rl}det(\mathit{B}-\lambda \mathit{I})& =det({\mathit{P}}^{-1})\cdot det(\mathit{A}-\lambda \mathit{I})\cdot det(\mathit{P})\\ & =det(\mathit{A}-\lambda \mathit{I})\end{array}$$

一个广泛用来估计一般矩阵 $\mathit{A}$ 的特征值的方法是 $\mathrm{QR}$ 算法。在适当条件下，它产生一个矩阵序列，其中矩阵全部相似于 $\mathit{A}$。矩阵几乎是上三角的，并且把主对角线上的元素近似于 $\mathit{A}$ 的特征值。

其将 $\mathit{A}$（或另一个与 $\mathit{A}$ 相似的矩阵）进行 $\mathrm{QR}$ 分解，有 $\mathit{A}={\mathit{Q}}_1{\mathit{R}}_1$，${\mathit{Q}}_1^T={\mathit{Q}}_1^{-1}$，${\mathit{R}}_1$ 是上三角矩阵，交换 ${\mathit{Q}}_1,{\mathit{R}}_1$ 形成 ${\mathit{A}}_1={\mathit{R}}_1{\mathit{Q}}_1$，然后对 ${\mathit{A}}_1$ 进行上述操作，依此类推。因为 ${\mathit{Q}}^{-1}\mathit{A}\mathit{Q}=\mathit{R}\mathit{Q}$，$\mathit{A},{\mathit{A}}_1,\cdots$ 是相似的。

应用到动力系统

设 $\mathit{A}=\left[\begin{array}{cc}0.95& 0.03\\ 0.05& 0.97\end{array}\right]$，分析由 ${\mathit{x}}_{k+1}=\mathit{A}{\mathit{x}}_k(k=0,1,2,\cdots ),{\mathit{x}}_0\left[\begin{array}{c}0.6\\ 0.4\end{array}\right]$ 所确定的动力系统的长期发展趋势。

---

第一步解出 $\mathit{A}$ 的特征值 $\lambda =1,0.92$，得到对应特征向量 ${\mathit{v}}_1=\left[\begin{array}{c}3\\ 5\end{array}\right]$ 和 ${\mathit{v}}_2=\left[\begin{array}{c}1\\ -1\end{array}\right]$。

第二步，$\{{\mathit{v}}_1,{\mathit{v}}_2\}$ 是 ${\mathbb{R}}^{\mathbb{2}}$ 的基，将 ${\mathit{x}}_0$ 表示为它们的线性组合：

$${\mathit{x}}_0=\left[\begin{array}{cc}{\mathit{v}}_1& {\mathit{v}}_2\end{array}\right]\left[\begin{array}{c}{c}_1\\ c_2\end{array}\right]$$

得到

$$\left[\begin{array}{c}{c}_1\\ c_2\end{array}\right]={\left[\begin{array}{cc}{\mathit{v}}_1& {\mathit{v}}_2\end{array}\right]}^{-1}{\mathit{x}}_0=\left[\begin{array}{c}0.125\\ 0.225\end{array}\right]$$

那么

$$\begin{array}{rl}{\mathit{x}}_k& ={\mathit{A}}^k(c_1{\mathit{v}}_1+c_2{\mathit{v}}_2)\\ & =c_1{\mathit{v}}_1+c_2(0.92{)}^k{\mathit{v}}_2\\ & =0.125\left[\begin{array}{c}3\\ 5\end{array}\right]+0.225(0.92{)}^k\left[\begin{array}{c}1\\ -1\end{array}\right]\end{array}$$

${\mathit{x}}_k$ 的显式公式就是差分方程的解。容易得到

$$\mathrm{当}k\to \mathrm{\infty }\mathrm{时}，{\mathit{x}}_k\to \left[\begin{array}{c}0.375\\ 0.625\end{array}\right]$$

5.3 对角化

分解式 $\mathit{A}=\mathit{P}\mathit{D}{\mathit{P}}^{-1}$（$\mathit{D}$ 为对角矩阵）能够在 $k$ 较大时快速计算 ${\mathit{A}}^k$，还能用于分析（解耦）动力系统。

计算 ${\mathit{D}}^k$ 是简单的。注意到 ${\mathit{A}}^k=(\mathit{P}\mathit{D}{\mathit{P}}^{-1}{)}^k=\mathit{P}{\mathit{D}}^k{\mathit{P}}^{-1}$，这就使得计算更为简单了。

如果方阵 $\mathit{A}$ 相似于对角矩阵，即存在可逆矩阵 $\mathit{P}$ 和对角矩阵 $\mathit{D}$ 使得 $\mathit{A}=\mathit{P}\mathit{D}{\mathit{P}}^{-1}$，称 $\mathit{A}$ 可对角化。

定理 4（对角化定理）

$n\times n$ 矩阵 $\mathit{A}$ 可对角化的充分必要条件是 $\mathit{A}$ 有 $n$ 个线性无关的特征向量。

事实上，$\mathit{A}=\mathit{P}\mathit{D}{\mathit{P}}^{-1}$，$\mathit{D}$ 为对角矩阵的充分必要条件是 $\mathit{P}$ 的列向量是 $\mathit{A}$ 的 $n$ 个线性无关的特征向量。此时 $\mathit{D}$ 的主对角线上的元素分别是 $\mathit{A}$ 的对应于 $\mathit{P}$ 中特征向量的特征值。

换句话说，$\mathit{A}$ 可对角化的充要条件是有足够的特征向量形成 ${\mathbb{R}}^n$ 的基，称为特征向量基。

若 $\mathit{P}$ 是列为 ${\mathit{v}}_1,\cdots ,{\mathit{v}}_n$ 的 $n\times n$ 矩阵，$\mathit{D}$ 是对角线元素为 ${\lambda }_1,\cdots ,{\lambda }_n$ 的对角矩阵，则

$$\mathit{A}\mathit{P}=\left[\begin{array}{cccc}\mathit{A}{\mathit{v}}_1& \mathit{A}{\mathit{v}}_2& \cdots & \mathit{A}{\mathit{v}}_n\end{array}\right]$$

$$\mathit{P}\mathit{D}=\left[\begin{array}{cccc}{\lambda }_1{\mathit{v}}_1& {\lambda }_2{\mathit{v}}_2& \cdots & {\lambda }_n{\mathit{v}}_n\end{array}\right]$$

假设 $\mathit{A}$ 可对角化且 $\mathit{A}=\mathit{P}\mathit{D}{\mathit{P}}^{-1}$，则 $\mathit{A}\mathit{P}\mathit{P}\mathit{D}$，可得

$$\mathrm{\forall }i=1,2,\cdots ,n,\mathit{A}{\mathit{v}}_i={\lambda }_i{\mathit{v}}_i$$

由于 $\mathit{P}$ 可逆，${\mathit{v}}_1,\cdots ,{\mathit{v}}_n$ 线性无关。这说明 ${\lambda }_1,\cdots ,{\lambda }_n$ 是特征值，${\mathit{v}}_1,\cdots ,{\mathit{v}}_n$ 为相应的特征向量。命题必要性得证，而充分性也是简单的。

矩阵的对角化

对角化工作分为以下四步：

$1.$ 求出 $\mathit{A}$ 的特征值（可用计算机软件辅助）。

$2.$ 求出 $\mathit{A}$ 的 $n$ 个线性无关的特征向量 ${\mathit{v}}_1,\cdots ,{\mathit{v}}_n$。若不存在这样的 $n$ 个向量则无法对角化。

$3.$ 构造矩阵 $\mathit{P}=\left[\begin{array}{cccc}{\mathit{v}}_1& {\mathit{v}}_2& \cdots & {\mathit{v}}_n\end{array}\right]$（向量的次序不重要）。

$4.$ 用对应的特征值构造矩阵 $\mathit{D}$。特征值的出现次数等于它的重数。

验证正确性，只需满足 $\mathit{A}\mathit{P}=\mathit{P}\mathit{D}$。注意 $\mathit{P}$ 应是可逆的。

定理 5

有 $n$ 个相异特征值的 $n\times n$ 矩阵可对角化。

定理 6

设 $\mathit{A}$ 是 $n\times n$ 矩阵，其相异的特征值是 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_p$。

$\text{a}.$ 对于 $1\le k\le p$，${\lambda }_k$ 的特征空间的维数小于或等于 ${\lambda }_k$ 的代数重数。

$\text{b}.$ 矩阵 $\mathit{A}$ 可对角化的充分必要条件是所有不同特征空间的维数之和为 $n$。即 $(\text{i})$ 特征多项式可完全分解为线性因子，$(\text{ii})$ 每个 ${\lambda }_k$ 的特征空间的维数等于 ${\lambda }_k$ 的代数重数。

$\text{c}.$ 若 $\mathit{A}$ 可对角化，${\mathcal{B}}_k$ 是对应于 ${\lambda }_k$ 的特征空间的基，则 ${\mathcal{B}}_1,{\mathcal{B}}_2,\cdots ,{\mathcal{B}}_p$ 中所有向量的集合是 ${\mathbb{R}}^n$ 的特征向量基。

5.4 特征向量与线性变换

我们研究线性变换 $T:V\to V$ 的特征值和特征向量，$V$ 为任意向量空间。

线性变换的特征向量

特征值和特征向量在 $V$ 中的定义相当于在 ${\mathbb{R}}^n$ 中的推广。

已知正弦波信号 $\{s_k\}=\{\cos ({\displaystyle \frac{k\pi }{2}})\},k\in \mathbb{Z}$，左双移位线性变换 $D$ 由 $D(\{x_k\})=\{x_{k+2}\}$ 定义。

令 $\{y_k\}=D\{s_k\}$，利用三角函数公式可得 $D\{s_k\}=\{-s_k\}=-\{s_k\}$，这说明 $\{s_k\}$ 是 $D$ 的特征向量，其特征值为 $-1$。

线性变换的矩阵

目前只考虑与有限维向量空间相关的线性变换和矩阵。

有 $n$ 维向量空间 $V$ 和线性变换 $T:V\to V$，选择 $V$ 的一组基 $\mathcal{B}$。

若 $\mathit{x}\in V$，坐标向量 $[\mathit{x}{]}_{\mathcal{B}},[T(\mathit{x}){]}_{\mathcal{B}}\in {\mathbb{R}}^n$。设 $\mathcal{B}=\{{\mathit{b}}_1,\cdots ,{\mathit{b}}_n\}$，$\mathit{x}=r_1{\mathit{b}}_1+\cdots +r_n{\mathit{b}}_n$，那么

$$[\mathit{x}{]}_{\mathcal{B}}=\left[\begin{array}{c}{r}_1\\ r_2\\ ⋮\\ r_n\end{array}\right]$$

$$T(\mathit{x})=r_{1}T({\mathit{b}}_1)+\cdots +r_{n}T({\mathit{b}}_n)$$

由于坐标映射是线性的：

$$[T(\mathit{x}){]}_{\mathcal{B}}=r_1[T({\mathit{b}}_1){]}_{\mathcal{B}}+\cdots +r_n[T({\mathit{b}}_n){]}_{\mathcal{B}}$$

改写为

$$[T(\mathit{x}){]}_{\mathcal{B}}=\mathit{M}[\mathit{x}{]}_{\mathcal{B}}$$

其中

$$\mathit{M}=\left[\begin{array}{ccc}[T({\mathit{b}}_1){]}_{\mathcal{B}}& \cdots & [T({\mathit{b}}_n){]}_{\mathcal{B}}\end{array}\right]$$

矩阵 $\mathit{M}$ 是 $T$ 的矩阵表示，称为 $T$ 相对于基 $\mathcal{B}$ 的矩阵。

故就坐标向量而言，$T$ 对 $\mathit{x}$ 的作用相当于用矩阵 $\mathit{M}$ 左乘 $\mathit{x}$。

${\mathbb{P}}_2\to {\mathbb{P}}_2$ 的映射 $T$：$T(a_0+a_{1}t+a_2{t}^2)=a_1+2a_{2}t$ 是线性变换（$T$ 是微分算子）。

若基 $\mathcal{B}=\{1,t,t^2\}$，写出 $T(1),T(t),T(t^2)$ 的 $\mathcal{B}-$ 坐标即可得到 $T$ 的 $\mathcal{B}-$ 矩阵：

$$[T{]}_{\mathcal{B}}=\left[\begin{array}{ccc}[T(1){]}_{\mathcal{B}}& [T(t){]}_{\mathcal{B}}& [T(t^2){]}_{\mathcal{B}}\end{array}\right]=\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 2\\ 0& 0& 0\end{array}\right]$$

对一般多项式 $\mathit{p}(t)=a_0+a_{1}t+a_2{t}^2$，可以验证

$$[T(\mathit{p}){]}_{\mathcal{B}}=[T{]}_{\mathcal{B}}[\mathit{p}{]}_{\mathcal{B}}$$

${\mathbb{R}}^n$ 上的线性变换

定理 7（对角矩阵表示）

设 $\mathit{A}=\mathit{P}\mathit{D}{\mathit{P}}^{-1}$，$D$ 为 $n\times n$ 对角矩阵，若 ${\mathbb{R}}^n$ 的基 $\mathcal{B}$ 由 $\mathit{P}$ 的列向量构成，那么 $\mathit{D}$ 是变换 $\mathit{x}\mapsto \mathit{A}\mathit{x}$ 的 $\mathcal{B}-$ 矩阵。

设 $\mathcal{B}=\{{\mathit{b}}_1,{\mathit{b}}_2,\cdots ,{\mathit{b}}_n\}$，$\mathit{P}=[{\mathit{b}}_1{\mathit{b}}_2\cdots {\mathit{b}}_n]$。此时 $\mathit{P}$ 是 4.4 节中提到的坐标变换矩阵 ${\mathit{P}}_{\mathcal{B}}$，满足

$$\mathit{P}[\mathit{x}{]}_{\mathcal{B}}=\mathit{x}[\mathit{x}{]}_{\mathcal{B}}={\mathit{P}}^{-1}\mathit{x}$$

若 $\mathit{x}\in {\mathbb{R}}^n$，$T(\mathit{x})=\mathit{A}\mathit{x}$，则

$$\begin{array}{rl}{\left[T\right]}_{\mathcal{B}}& =[{\left[\mathit{A}{\mathit{b}}_1\right]}_{\mathcal{B}}\cdots {\left[\mathit{A}{\mathit{b}}_n\right]}_{\mathcal{B}}]\\ & =[{\mathit{P}}^{-1}\mathit{A}{\mathit{b}}_1\cdots {\mathit{P}}^{-1}\mathit{A}{\mathit{b}}_n]\\ & ={\mathit{P}}^{-1}\mathit{A}[{\mathit{b}}_1\cdots {\mathit{b}}_n]\\ & ={\mathit{P}}^{-1}\mathit{A}\mathit{P}\end{array}$$

由于 $\mathit{A}=\mathit{P}\mathit{D}{\mathit{P}}^{-1}$，$[T{]}_{\mathcal{B}}={\mathit{P}}^{-1}\mathit{A}\mathit{P}=\mathit{D}$。

此时 $\mathit{x}\mapsto \mathit{A}\mathit{x}$ 和 $\mathit{u}\mapsto \mathit{D}\mathit{u}$ 是相对于不同基的同一个线性变换。

矩阵表示的相似性

上一定理的证明与 $\mathit{D}$ 是对角矩阵无关。因此只需 $\mathit{A}$ 相似于 $\mathit{C}$，即 $\mathit{A}=\mathit{P}\mathit{C}{\mathit{P}}^{-1}$，且 $\mathcal{B}$ 由 $\mathit{P}$ 的列向量构成，$\mathit{C}$ 就是变换 $\mathit{x}\mapsto \mathit{A}\mathit{x}$ 的 $\mathcal{B}-$ 矩阵。

于是 $\mathit{x}\stackrel{\mathrm{乘}\mathrm{以}{\mathit{P}}^{-1}}{\to }[\mathit{x}{]}_{\mathcal{B}}\stackrel{\mathrm{乘}\mathrm{以}\mathit{C}}{\to }[\mathit{A}\mathit{x}{]}_{\mathcal{B}}\stackrel{\mathrm{乘}\mathrm{以}\mathit{P}}{\to }\mathit{A}\mathit{x}$。

反之，若 ${\mathbb{R}}^n\to {\mathbb{R}}^n$ 的变换 $T:T(\mathit{x})=\mathit{A}\mathit{x}$，$\mathcal{B}$ 是 ${\mathbb{R}}^n$ 的任意一个基，则 $T$ 的 $\mathcal{B}-$ 矩阵相似于 $\mathit{A}$，从定理 7 的计算中也能发现这一点。因此，所有相似于 $\mathit{A}$ 的矩阵的集合与变换 $\mathit{x}\mapsto \mathit{A}\mathit{x}$ 的所有矩阵表示的集合是相同的。

5.5 复特征值

考虑 $n\times n$ 矩阵的特征方程的复根，从 ${\mathbb{R}}^n$ 推广至 ${\mathbb{C}}^n$。

对复特征值的研究能够揭示某些实矩阵中隐藏的信息。这些问题包括很多蕴涵周期运动的实动力系统、振动或空间的某种旋转。

假设 $\mathit{A}=\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]$，${\mathbb{R}}^2$ 上的线性变换 $\mathit{x}\mapsto \mathit{A}\mathit{x}$ 将平面逆时针旋转 $1/4$ 圈，其显然在 ${\mathbb{R}}^2$ 中无特征向量。已知其特征方程

$${\lambda }^2+1=0$$

只有复根 $\lambda =\pm i$。让 $\mathit{A}$ 作用于 ${\mathbb{C}}^2$，可以得到 $i$ 和 $-i$ 是特征值，$\left[\begin{array}{c}1\\ -i\end{array}\right]$ 和 $\left[\begin{array}{c}1\\ i\end{array}\right]$ 是对应的特征向量。

设 $\mathit{A}=\left[\begin{array}{cc}0.5& -0.6\\ 0.75& 1.1\end{array}\right]$，求其特征值及每个特征空间的基。

---

由行列式容易解得 $\lambda =0.8\pm 0.6i$，对 $\lambda =0.8-0.6i$，有

$$\mathit{A}-\lambda \mathit{I}=\left[\begin{array}{cc}-0.3+0.6i& -0.6\\ 0.75& 0.3+0.6i\end{array}\right]$$

其给出了两个 $x_1$ 和 $x_2$ 之间的等式。实际上它们一定描述同一个关系，由 $0.75x_1+(0.3+0.6i)x_2=0$，可得其对应特征空间的基为 $\left[\begin{array}{c}-2-4i\\ 5\end{array}\right]$，对于另一个特征值也用相同的方法即可，而验算结果是否正确是较为简单的。

向量的实部和虚部

向量 $\mathrm{Re}\mathit{x}$ 和 $\mathrm{Im}\mathit{x}$ 称为复向量 $\mathit{x}$ 的实部和虚部，有

$$\mathit{x}=\mathrm{Re}\mathit{x}+i\mathrm{Im}\mathit{x}$$

复数的共轭运算性质对复矩阵代数是成立的。

作用于 ${\mathbb{C}}^n$ 上的实矩阵的特征值和特征向量

若 $\mathit{A}$ 为 $n\times n$ 实矩阵，则 $\overline{\mathit{A}\mathit{x}}=\mathit{A}\bar{\mathit{x}}$。若 $\lambda$ 是 $\mathit{A}$ 的特征值，$\mathit{x}$ 是对应特征向量，则

$$\mathit{A}\bar{x}=\overline{\mathit{A}\mathit{x}}=\overline{\lambda \mathit{x}}=\bar{\lambda }\cdot \bar{\mathit{x}}$$

故 $\bar{\lambda }$ 是 $\mathit{A}$ 的特征值，$\bar{\mathit{x}}$ 是对应特征向量。这表明当 $\mathit{A}$ 是实矩阵时，其复特征值以共轭复数对出现。

设非零实矩阵 $\mathit{C}=\left[\begin{array}{cc}a& -b\\ b& a\end{array}\right]$，它的特征值是 $\lambda =a\pm bi$，设 $r=|\lambda |=\sqrt{a^2+b^2}$，$\phi$ 为 $\lambda$ 的辐角，有

$$\mathit{C}=r\left[\begin{array}{cc}a/r& -b/r\\ b/r& a/r\end{array}\right]=\left[\begin{array}{cc}r& 0\\ 0& r\end{array}\right]\left[\begin{array}{cc}\cos \phi & -\sin \phi \\ \sin \phi & \cos \phi \end{array}\right]$$

变换 $\mathit{x}\mapsto \mathit{C}\mathit{x}$ 可视为旋转 $\phi$ 和倍乘 $|\lambda |$ 的复合。

接着用前面的例子来揭示有复特征值的实矩阵中隐含的旋转：

$$\mathit{A}=\left[\begin{array}{cc}0.5& -0.6\\ 0.75& 1.1\end{array}\right],\lambda =0.8-0.6i,\mathit{v}=\left[\begin{array}{c}-2-4i\\ 5\end{array}\right]$$

设 $2\times 2$ 实矩阵 $\mathit{P},\mathit{C}$：

$$\mathit{P}=\left[\begin{array}{cc}\mathrm{Re}\mathit{v}& \mathrm{Im}\mathit{v}\end{array}\right]=\left[\begin{array}{cc}-2& -4\\ 5& 0\end{array}\right]$$

$$\mathit{C}={\mathit{P}}^{-1}\mathit{A}\mathit{P}=\left[\begin{array}{cc}0.8& -0.6\\ 0.6& 0.8\end{array}\right]$$

可得

$\mathit{A}=\mathit{P}\left[\begin{array}{cc}0.8& -0.6\\ 0.6& 0.8\end{array}\right]{\mathit{P}}^{-1}$。旋转产生的是椭圆，因为由 $\mathit{P}$ 的列确定的坐标系不是长方形的，在两个轴上没有相等的单位长。

定理 8

设 $2\times 2$ 实矩阵 $\mathit{A}$ 有复特征值 $\lambda =a-bi(b\ne 0)$ 及对应的 ${\mathbb{C}}^2$ 中复特征向量 $\mathit{v}$，那么

$$\mathit{A}=\mathit{P}\mathit{C}{\mathit{P}}^{-1}$$

其中

$$\mathit{P}=\left[\begin{array}{cc}\mathrm{Re}\mathit{v}& \mathrm{Im}\mathit{v}\end{array}\right],\mathit{C}=\left[\begin{array}{cc}a& -b\\ b& a\end{array}\right]$$

首先 $\mathrm{Re}\mathit{v}$ 和 $\mathrm{Im}\mathit{v}$ 显然是线性无关的，$\mathit{A}(\mathrm{Re}\mathit{v})=\mathrm{Re}\mathit{A}\mathit{x}$，$\mathit{A}(\mathrm{Im}\mathit{x})=\mathrm{Im}\mathit{A}\mathit{x}$，$\mathit{A}\mathit{v}=\lambda \mathit{v}$，于是考虑证明 $\mathit{A}\mathit{P}=\mathit{P}\mathit{C}$。

$$\begin{array}{rl}\mathit{A}\mathit{P}& =\left[\begin{array}{cc}\mathit{A}\mathrm{Re}\mathit{v}& \mathit{A}\mathrm{Im}\mathit{v}\end{array}\right]\\ & =\left[\begin{array}{cc}\mathrm{Re}\lambda \mathit{v}& \mathrm{Im}\lambda \mathit{v}\end{array}\right]\\ & =\left[\begin{array}{cc}a\mathrm{Re}\mathit{v}+b\mathrm{Im}\mathit{v}& -b\mathrm{Re}\mathit{v}+a\mathrm{Im}\mathit{v}\end{array}\right]\\ & =\mathit{P}\mathit{C}\end{array}$$

得证。

5.6 离散动力系统

在 5.2 节中有简单提到。

生态问题比物理或工程上的问题更容易描述和解释。控制系统中的稳态响应在工程上等价于动力系统 ${\mathit{x}}_{k+1}=\mathit{A}{\mathit{x}}_k$ 的长期行为。

假设 $\mathit{A}$ 可对角化，有 $n$ 个线性无关的特征向量 ${\mathit{v}}_1,\cdots ,{\mathit{v}}_n$ 和对应特征向量 ${\lambda }_1,\cdots ,{\lambda }_n$（为了方便，令 $|{\lambda }_i|$ 单调不升）。

对于初始向量 ${\mathit{x}}_0=c_1{\mathit{v}}_1+\cdots +c_n{\mathit{v}}_n$，有

$${\mathit{x}}_k=c_1({\lambda }_1{)}^k{\mathit{v}}_1+\cdots +c_n({\lambda }_n{)}^k{\mathit{v}}_n$$

若仅 $i=1$ 时满足 $|{\lambda }_1|\ge 1$，$c_1\ne 0$，对足够大的 $k$：

$${\mathit{x}}_{k+1}\approx {\lambda }_1{\mathit{x}}_k$$

$${\mathit{x}}_k\approx c_1({\lambda }_1{)}^k{\mathit{v}}_1$$

解的几何意义

对于 $2\times 2$ 对角矩阵 $\mathit{A}$，画出动力系统 ${\mathit{x}}_{k+1}=\mathit{A}{\mathit{x}}_k$ 的若干条轨迹（由 ${\mathit{x}}_0,{\mathit{x}}_1,{\mathit{x}}_2,\cdots$ 组成的图形）。

• 当两个特征值的绝对值均小于 $1$，轨迹趋于原点，称为动力系统的吸引子。过原点且特征值绝对值最小的特征向量 ${\mathit{v}}_2$ 的直线的方向是最大吸引方向。

• 当两个特征值的绝对值均大于 $1$，轨迹远离原点，称为动力系统的排斥子。过原点且特征值绝对值最大的特征向量 ${\mathit{v}}_1$ 的直线的方向是最大排斥方向。

• 当两个特征值的绝对值分别 $>1$ 和 $<1$，原点在某些方向有吸引解，某些方向有排斥解，称为鞍点。最大吸引、排斥方向同上。

在线性动力系统中只有原点可能是吸引子或排斥子，而在非线性的更一般的动力系统中可能存在多个吸引子和排斥子。

显然对于一般的 $\mathit{A}$，若其可对角化，动力系统的轨迹的区别在于用特征向量代替了标准基（以它们为坐标轴）。

若 $\mathit{A}$ 有两个绝对值（模）小于 $1$ 的复特征值，原点是排斥子，${\mathit{x}}_0$ 的迭代绕原点向外作螺旋线旋转。若都小于 $1$，原点是吸引子，${\mathit{x}}_0$ 的迭代绕原点向内作螺旋线旋转。

5.7 在微分方程中的应用

在很多应用问题中，某些量随时间连续变化，与下列微分方程组有关：

$$\begin{array}{rl}{x}_1^{\prime }& =a_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n\\ x_2^{\prime }& =a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n\\ ⋮& \\ x_n^{\prime }& =a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n\end{array}$$

$x_i$ 是关于 $t$ 的可导函数，$a_{ij}$ 为常数，将其写成矩阵微分方程

$${\mathit{x}}^{\prime }(t)=\mathit{A}\mathit{x}(t)$$

其中

$$\mathit{x}(t)=\left[\begin{array}{c}{x}_1(t)\\ x_2(t)\\ ⋮\\ x_n(t)\end{array}\right],\mathit{A}=\left[\begin{array}{ccc}{a}_{11}{a}_{12}& \cdots & a_{1n}\\ a_{21}{a}_{22}& \cdots & a_{2n}\\ ⋮& \ddots & ⋮\\ a_{n1}{a}_{n2}& \cdots & a_{nn}\end{array}\right]$$

方程显然是线性的，其解为向量值函数，定义在某实数区间。若 $\mathit{u}$ 和 $\mathit{v}$ 都是解，$c\mathit{u}+d\mathit{v}$ 也是方程的解。

零函数也是方程的（平凡）解。方程的解集是值属于 ${\mathbb{R}}^n$ 的所有连续函数组成的集合的子空间。

微分方程相关的教材证明了方程存在基础解系，它是解集的基，那么解集就是函数的 $n$ 维向量空间。

若给定向量 ${\mathit{x}}_0$，初值问题就是构造一个（唯一）函数 $\mathit{x}$，满足 ${\mathit{x}}^{\prime }=\mathit{A}\mathit{x}$ 和 $\mathit{x}(0)={\mathit{x}}_0$。

若 $\mathit{A}$ 是对角矩阵，例如：

$$\left[\begin{array}{c}{x}_1^{\prime }(t)\\ x_2^{\prime }(t)\end{array}\right]=\left[\begin{array}{cc}3& 0\\ 0& -5\end{array}\right]\left[\begin{array}{c}{x}_1(t)\\ x_2(t)\end{array}\right]$$

则有 $x_1^{\prime }(t)=3x_1(t)$，$x_2^{\prime }(t)=-5x_2(t)$，每个函数的导数依赖于其本身，称它是解耦的。

关于函数的求解与动力系统的解耦需要微积分知识，暂且略过。

5.8 特征值的迭代估计

幂算法

适用于 $n\times n$ 矩阵 $\mathit{A}$ 有严格占优特征值（或主特征值）${\lambda }_1$ 的情况，意思是其绝对值比其他特征值都大。该算法产生一个近似 ${\lambda }_1$ 的数列和一个近似对应的主特征向量的向量序列。

简单起见，令 $\mathit{A}$ 可对角化，${\lambda }_1$ 是主特征值，有

$$|{\lambda }_1|>|{\lambda }_2|\ge |{\lambda }_3|\ge \cdots \ge |{\lambda }_n|$$

显然地，

$${\mathit{A}}^k\mathit{x}=c_1({\lambda }_1{)}^k{\mathit{v}}_1+\cdots +c_n({\lambda }_n{)}^k{\mathit{v}}_n(k\in {\mathbb{N}}^{+})$$

假设 $c_1\ne 0$：

$$\frac{1}{({\lambda }_1{)}^k}{\mathit{A}}^k\mathit{x}=c_1{\mathit{v}}_1+c_2(\frac{{\lambda }_2}{{\lambda }_1}{)}^k{\mathit{v}}_2+\cdots +c_n(\frac{{\lambda }_n}{{\lambda }_1}{)}^k{\mathit{v}}_n$$

则当 $k\to \mathrm{\infty }$ 时，

$$({\lambda }_1{)}^{-k}{\mathit{A}}^k\mathit{x}\to c_1{\mathit{v}}_1$$

则 ${\mathit{A}}^k$ 与 ${\mathit{v}}_1$ 所在直线见夹角趋于零。

若对 ${\mathit{A}}^k\mathit{x}$ 进行倍乘使其最大分量为 $1$，则所得序列 $\{{\mathit{x}}_k\}$ 收敛于 ${\mathit{v}}_1$ 的倍数，它的最大分量也是 $1$。

当 ${\mathit{x}}_k$ 接近 ${\mathit{v}}_1$ 时，$\mathit{A}{\mathit{x}}_k$ 接近 ${\lambda }_1{\mathit{x}}_k$，$\mathit{A}{\mathit{x}}_k$ 的最大分量接近 ${\lambda }_1$。

估计严格占优特征值的幂算法

$1.$ 选择一个最大分量为 $1$ 的初始向量 ${\mathit{x}}_0$。

$2.$ 对 $k=0,1,2,\cdots ,$

$\text{a}.$ 计算 $\mathit{A}{\mathit{x}}_k$。

$\text{b}.$ 设 ${\mu }_k$ 是 $\mathit{A}{\mathit{x}}_k$ 中绝对值最大的一个分量。

$\text{c}.$ 计算 ${\mathit{x}}_{k+1}=(1/{\mu }_k)\mathit{A}{\mathit{x}}_k$。

$3.$ 几乎对所有选择的 ${\mathit{x}}_0$，序列 $\{{\mu }_k\}$ 近似于主特征值，而序列 $\{{\mathit{x}}_k\}$ 近似于对应的特征向量。

序列的收敛速度取决于 $|{\lambda }_2/{\lambda }_1|$。

若随机的 ${\mathit{x}}_0$ 使得 $c_1=0$，计算时的舍入误差可能使得所产生向量在 ${\mathit{v}}_1$ 上存在分量，最终 $\{{\mathit{x}}_k\}$ 收敛于 ${\mathit{v}}_1$ 的倍数。

逆幂法

若 $\mathit{A}$ 有特征值 $\lambda$ 和对应特征向量 $\mathit{v}$，$\alpha$ 不是 $\mathit{A}$ 的特征值：

$$\begin{array}{rl}\mathit{A}\mathit{v}-\alpha \mathit{v}& =\lambda \mathit{v}-\alpha \mathit{v}\\ (\mathit{A}-\alpha \mathit{I})\mathit{v}& =(\lambda -\alpha )\mathit{v}\\ (\mathit{A}-\alpha \mathit{I}{)}^{-1}\mathit{v}& =\frac{1}{\lambda -\alpha }\mathit{v}\end{array}$$

在知道特征值 $\lambda$ 的一个较好的初始估值 $\alpha$ 后，逆幂法也用来对任意特征值做近似估值。令 $\mathit{B}=(\mathit{A}-\alpha \mathit{I}{)}^{-1}$，若 ${\lambda }_1,\cdots ,{\lambda }_n$ 是 $\mathit{A}$ 的特征值，$\mathit{B}$ 的特征值是

$$\frac{1}{{\lambda }_1-\alpha },\cdots ,\frac{1}{{\lambda }_n-\alpha }$$

对应特征向量不变。假设 $\alpha$ 最接近 ${\lambda }_i$，$1/({\lambda }_i-\alpha )$ 将是 $\mathit{B}$ 的主特征值。对 ${\mathit{x}}_0$ 的几乎所有选择都会快速逼近 ${\lambda }_i$。

估计 $\mathit{A}$ 的特征值 $\lambda$ 的逆幂法

$1.$ 选择一个非常接近于 $\lambda$ 的初始估值 $\alpha$。

$2.$ 选择一个最大分量为 $1$ 的初始向量 ${\mathit{x}}_0$。

$3.$ 对 $k=0,1,2,\cdots$，

$\text{a.}$ 由 $(\mathit{A}-\alpha \mathit{I}){\mathit{y}}_k={\mathit{x}}_k$ 解出 ${\mathit{y}}_k$。

$\text{b.}$ 设 ${\mu }_k$ 是 ${\mathit{y}}_k$ 中绝对值最大的分量。

$\text{c.}$ 计算 $v_k=\alpha +(1/{\mu }_k)$。

$\text{d.}$ 计算 ${\mathit{x}}_{k+1}=(1/{\mu }_k){\mathit{y}}_k$。

$4.$ 几乎对所有 ${\mathit{x}}_0$，$\{v_k\}$ 趋于 $\mathit{A}$ 的特征值 $\lambda$，$\{{\mathit{x}}_k\}$ 趋于对应特征向量。

5.9 在马尔可夫链中的应用

马尔可夫链在多种领域中做数学模型，这里略过一些简单的实用性例子。

定义 $$ 一个具有非负元素且各元素的数值相加等于 $1$ 的向量称为概率向量。随机矩阵是各列向量均为概率向量的方阵。

马尔可夫链是一个概率向量序列 ${\mathit{x}}_0,{\mathit{x}}_1,\cdots$ 和一个随机矩阵 $\mathit{P}$，满足

$${\mathit{x}}_1=\mathit{P}{\mathit{x}}_0,x_2=\mathit{P}{\mathit{x}}_1,\cdots$$

用一阶差分方程刻画：

$${\mathit{x}}_{k+1}=\mathit{P}{\mathit{x}}_k(k=0,1,2,\cdots )$$

${\mathit{x}}_k$ 通常称为状态向量。

预言遥远的未来

马尔可夫链最有趣的方面是对该链长期行为的研究。

定理 9（随机矩阵）

如果 $\mathit{P}$ 是一个随机矩阵，那么 $1$ 是 $\mathit{P}$ 的一个特征值。

${\mathit{P}}^T$ 各行之和为 $1$，$\mathit{e}$ 是各元素为 $1$ 的向量，那么 ${\mathit{P}}^T\mathit{e}=\mathit{e}$，说明 $\mathit{e}$ 是 ${\mathit{P}}^T$ 的特征向量，对应特征值为 $1$。可以证明 $\mathit{P}$ 和 ${\mathit{P}}^T$ 有相同特征值，故 $1$ 是 $\mathit{P}$ 的特征值。

稳态向量

随机矩阵 $\mathit{P}$ 的稳态向量（或平衡向量）是满足 $\mathit{P}\mathit{q}=\mathit{q}$ 的概率向量 $\mathit{q}$。这说明 $\mathit{q}$ 是 $1$ 的对应特征向量，而如何去求它是简单的。

我们称一个矩阵是正则的，如果矩阵的某次幂 ${\mathit{P}}^k$ 仅包含严格正的元素。

定理 10

如果 $\mathit{P}$ 是一个 $n\times n$ 的正则随机矩阵，则 $\mathit{P}$ 具有唯一的稳态向量 $\mathit{q}$。此外，若 ${\mathit{x}}_0$ 是任一个初始状态，且 ${\mathit{x}}_{k+1}=\mathit{P}{\mathit{x}}_k(k=0,1,2,\cdots )$，则 $k\to \mathrm{\infty }$ 时，马尔可夫链 $\{{\mathit{x}}_k\}$ 收敛到 $\mathit{q}$。

它说明初始状态不影响马尔可夫链的长期行为。