线性代数 Linear Algebra

Vector spaces

Definition B.1. 一个域 field $\mathbb{F}$ 是一个带有 $+\ *$ 运算的集合，满足

交换律 communicativity $a+b=b+a,\ ab=ba$
结合律 associativity $a+(b+c)=(a+b)+c,\ a(bc)=(ab)c$
单位元 identity $a+0=a,\ 1a = a$
可逆性 invertibility $a+(-a)=0,\ aa^{-1}=1$
分配律 distributivity $a(b+c)=ab+ac$

Definition B.2. 一个域 $\mathbb{F}$ 上的向量空间或线性空间是一个带有 $+\ \times$ 运算的集合 $V$ ，分别为向量加法和数乘，满足

\[\forall u,v\in V,\ a,b\in \mathbb{F} \]

交换律 communicativity $u+v=v+u$
结合律 associativity $(u+v)+w=u+(v+w)$
相容性 compatibility $(ab)u = a(bu)$
加法元 additive identity $u+0=u$
加法逆 additive inverse $u+(-u) = 0$
乘法元 multiplicative identity $1u=u$
分配律 distributive laws

\[\left\{ \begin{aligned} (a+b)u &= au + bu\\ a(u+v) &= au + av \end{aligned} \right. \]

集合 $V$ 中的元素称为向量，域 $\mathbb{F}$ 中的元素称为标量.

Definition B.3. 一个实向量空间或复向量空间是一个 $\mathbb{F}=\mathbb{R}$ 和 $\mathbb{F}=\mathbb{C}$ 的空间.

Subspaces

Definition B.6. 如果向量空间 $V$ 的子集 $U$ 是一个向量空间，就称 $U$ 是一个子空间 subspace .

Definition B.7. 设 $U_1,\cdots,U_m$ 是 $V$ 的子集，则它们的和 sum 定义为

\[U_1+\cdots+U_m = \left\{\sum_{j=1}^mu_j:u_j\in U_j \right\} \]

显然这是包含 $U_1,\cdots,U_m$ 的最小向量空间.

Definition B.10. 若 $\forall u\in U_1+\cdots+U_m$ ，有唯一分解

\[u=\sum_{j=1}^m u_j,\quad u_j\in U_j \]

则称 $U_1+\cdots+U_m$ 是一个直和 direct sum ，记为 $U_1\oplus\cdots\oplus U_m$ ；容易证明，它是直和当且仅当 $0$ 的分解在 $U_j$ 中各分量都为 $0$ .

Theorem B.13. 若 $U,W\in V$ 是子空间，则 $U+W$ 是直和当且仅当 $U\cap W=\{0\}$ .

Span and linear independence

Notation 15. 对于集合 $S$ ，定义向量空间

\[\mathbb{F}^S = \{f:S\to\mathbb{F} \} \]

可以看出 $\mathbb{F}^n$ 是上面向量空间的特殊情况，因为可以定义

\[f:\{1,2,\cdots,n \}\mapsto\mathbb{F} \]

即 $n$ 可以看做 $\{1,2,\cdots,n\}$ ，而 $\mathbb{F}^n$ 中的元素看做是函数 $f$ ，它将每一个指标 $i\in\{1,2,\cdots,n\}$ 对应到 $\mathbb{F}$ 中的元素.

Definition B.18 一列向量 $\{v_i\}$ 的线性组合 linear combination 是具有形式 $\sum_ia_iv_i,\ a_i\in\mathbb{F}$ 的向量.

Definition B.21. 一列向量 $\{v_i\}$ 的扩张 span 是其中向量全部线性组合的集合

\[\mathrm{span}(v_1,\cdots,v_m) = \left\{\sum_{i=1}^ma_iv_i:a_i\in \mathbb{F} \right\} \]

特别的，空集的扩张是 $\{0\}$ 。我们称 $(v_1,\cdots,v_m)$ 张成 $V$ 若 $V = \mathrm{span}(v_1,\cdots,v_m)$ .

Definition B.23. 若向量空间 $V$ 由有限个向量张成，则称它有有限维 finite dimensional ，否则称它有无限维 infinite dimensional .

Definition B.25. 向量空间 $V$ 中的一列向量 $(v_1,\cdots,v_m)$ 线性无关 linearly independent 当且仅当

\[\sum_{i=1}^ma_iv_i = 0\quad \Rightarrow\quad a_i=0,\quad i=1,2,\cdots,m \]

否则称它们线性相关.

Lemma B.30 (Linear dependence lemma). 设 $(v_1,\cdots,v_m)$ 线性相关，则存在 $j\in\{1,2,\cdots,m\}$ 使得

$v_j\in\mathrm{span}(v_1,\cdots,v_{j-1})$
若将 $v_j$ 从中移除，则剩余向量张成的空间仍为 $\mathrm{span}(v_1,\cdots,v_m)$

Lemma B.31. 有限维向量空间中线性无关的向量列的长度不大于张成该空间的线性无关向量个数.

Bases

Definition B.32. 向量空间 $V$ 的一个基 basis 是一列张成 $V$ 的线性无关向量.

Definition B.33. 在 $\mathbb{F}^n$ 中的标准基 standard basis 是 $(1,0,\cdots,0)^T,\cdots,(0,0,\cdots,1)^T$ .

Lemma B.35. 向量列 $(v_1,\cdots,v_n)$ 是 $V$ 中的基当且仅当 $\forall u\in V$ ，有唯一分解

\[\quad u=\sum_{i=1}^na_iv_i,\quad a_i\in\mathbb{F} \]

Lemma B.36. 任意张成 $V$ 的向量列都可以削减为一个基.

Lemma B.37. 有限维空间中的线性无关向量组总是可以扩张为一组基.

Dimension

Lemma B.38. 任意有限维向量空间的两个基有相同长度.

$Proof.$ 实际上，由 Lemma B.31 我们知道线性无关向量组的长度不大于张成它的向量组的长度，于是容易得证.

Definition B.39. 有限维向量空间 $V$ 的维数 dimension 记为 $\dim V$ ，等于基的长度.

Lemma B.40. 张成有限维向量空间 $V$ 的长度为 $\dim V$ 的向量组构成基.

Lemma B.41. 有限维向量空间 $V$ 中长度为 $\dim V$ 的线性无关组都是基.

Linear maps

Definition B.42. 两个向量空间 $V,W$ 间的线性映射 linear map /线性变换 linear transformation 是一个函数 $T:V\to W$ ，满足

$\forall u,v,\in V,\ T(u+v)=Tu+Tv$
$\forall a\in\mathbb{F},\forall v\in V,\ T(av)=a(Tv)$

其中 $\mathbb{F}$ 是标量域。特别的，如果 $W=V$ ，则称 $T$ 为一个线性算子 linear operator .

Notation 16. 全体 $V$ 到 $W$ 的映射记为 $\mathcal{L}(V,W)$ ，全体 $V$ 上的线性算子记为 $\mathcal{L}(V)$ .

Lemma B.45. 集合 $\mathcal{L}(V,W)$ 带有数乘 $(aT)v=a(Tv)$ 和向量加法 $(S+T)v=Sv+Tv$ 构成一个向量空间.

Definition B.46. 单位映射 identity map 记为 $I$ ，将任意元素映射到它自身 $Iv=v$ .

Definition B.47. 复线性泛函 complex linear functional 是一个线性映射 $T:V\to\mathbb{C}$ ，将 $\mathbb{C}$ 作为 $V$ 的 underlying field ；而实线性泛函 real linear functional 是一个映射 $T:V\to\mathbb{R}$ 使得对 $\mathbb{F}=\mathbb{R}$ 符合线性映射的定义.

Lemma B.48. 令 $V$ 为一个复向量空间和其上的复线性泛函 $f$ ，则实部 $\mathrm{Re} f(x)=u(x)$ 满足

\[\forall x\in V,\quad f(x) =u(x)-iu(ix) \]

$Proof.$ 注意到 $z=\mathrm{Re}(z)-i\mathrm{Re}(iz)$ ，取 $z=f(x)$ 就有

\[f(x) = \mathrm{Re}(f(x))-i\mathrm{Re}(if(x)) = u(x)-i\mathrm{Re}(f(ix)) = u(x)-iu(ix) \]

其中第二步是根据数乘性质得到的.

Lemma B.49. 令 $V$ 为一个复向量空间和其上的实线性泛函 $u:V\to\mathbb{R}$ ，则 $f(x) =u(x)-iu(ix)$ 是复线性泛函.

$Proof.$ 类似地有

\[f(ix) = u(ix) - iu(i^2x) = u(ix) + iu(x) = i(u(x)-iu(ix)) = if(x) \]

从而证明了关于 $i$ 数乘关系，且关于实数的数乘和向量加法由实线性泛函保证，即证.

Null spaces and ranges

Definition B.50. 线性映射 $T\in \mathcal{L}(V,W)$ 的核空间 null space 是 $V$ 的子集

\[\mathrm{null}\ T = \{v\in V:Tv=0\} \]

即是在 $T$ 下映到 $0$ 的向量集.

Theorem B.52. 线性映射 $T\in \mathcal{L}(V,W)$ 是单射当且仅当 $\mathrm{null}\ T=\{0\}$ .

Definition B.53. 线性映射 $T\in \mathcal{L}(V,W)$ 的像空间 range space 是 $W$ 的子集

\[\mathrm{range}\ T=\{Tv:v\in V\} \]

即是在 $T$ 下映到的向量集.

Theorem B.55. 像空间是 $W$ 的子空间.

Theorem B.56 (The counting theroem or the fundamental theroem of linear maps). 若 $V$ 是有限维向量空间， $T\in \mathcal{L}(V,W)$ ，则像空间是 $W$ 的有限维子空间，并且

\[\dim V = \dim \mathrm{null}\ T + \dim \mathrm{range}\ T \]

容易看出，核空间也是 $V$ 的子空间，有一组基；像空间的基对应到 $V$ 中的线性无关组，它们共同构成 $V$ 的一组基.

Theorem B.57. 对于算子 $T\in \mathcal{L}(V)$ ，下面陈述等价：

$T$ 可逆
$T$ 是单射
$T$ 是双射

The matrix of a linear map

Definition B.58. 线性映射 $T\in \mathcal{L}(V,W)$ 的矩阵由 $V,W$ 的基确定，表示为

\[M_T = M(T,(v_1,\cdots,v_n),(w_1,\cdots,w_m)) \]

它是一个 $m\times n$ 矩阵 $A(T)$ ，其元素 $a_{i,j}\in\mathbb{F}$ 满足

\[\forall j=1,2,\cdots,n,\quad Tv_j = \sum_{i=1}^ma_{i,j}w_i \]

这也就意味着 $T(v_1,\cdots,v_n)=(w_1,\cdots,w_m)A$ .

Duality

Dual vector spaces

Deifinition B.60. 向量空间 $V$ 的对偶空间 dual space 是其上所有线性泛函的向量空间 $V^{\prime}=\mathcal{L}(V,F)$ .

也就是所有形如 $\varphi:V\to\mathbb{F}$ 的函数的集合，其中 $\mathbb{F}$ 是 $V$ 使用的数域，它们构成一个向量空间 $V^\prime$ .

Definition B.61. 对于 $V$ 的基 $v_1,\cdots,v_n$ ，它的对偶基 dual basis 是 $\varphi_1,\cdots,\varphi_n$ 满足

\[\varphi_j(v_k) = \left\{ \begin{aligned} 1\quad k=j\\ 0\quad k\neq j \end{aligned} \right. \]

换言之，只有当 $\varphi_j(v_k)$ 的两个下标相同它才取非零值 $1$ .

Lemma B.63. 有限维向量空间 $V$ 满足 $\dim V^\prime = \dim V$ .

Definition B.64. 向量空间 $V$ 的重对偶空间 double dual space 为 $V^{\prime\prime}=(V^{\prime})^\prime$ .

Lemma B.65. 函数 $\Lambda:V\to V^{\prime\prime}$ 定义为

\[\forall v\in V,\ \forall \varphi\in V^\prime,\quad (\Lambda v)(\varphi) = \varphi(v) \]

是一个线性双射。其将向量 $v\in V$ 映到一个函数 $\Lambda v\in V^{\prime\prime}$ ， $\Lambda v$ 是 $V^\prime$ 上的线性泛函，它将 $\varphi\in V^\prime$ 映到 $\varphi(v)\in \mathbb{F}$ .

Dual linear maps

Definition B.66. 线性映射 $T:V\to W$ 的对偶映射 dual map 是线性映射 $T^\prime:W^\prime\to V^\prime$ 定义为

\[\forall \psi\in W^\prime,\quad T^{\prime}(\psi) = \psi \circ T \]

映射关系 $\psi:W\to\mathbb{F}$ ，因此有 $\psi\circ T:V\to\mathbb{F}$ ，即 $\psi\in W^\prime,\ \psi\circ T\in V^{\prime}$ ，这确实是正确的映射关系.

Theorem B.68. $T^\prime$ 的矩阵是 $T$ 的矩阵的转置.

$Proof.$ 我们不妨假设对 $T:v\mapsto w,\ T^\prime:\psi\mapsto\varphi$ 有变换矩阵

\[\begin{aligned} T(v_1,\cdots,v_n) &= (w_1,\cdots,w_m)A\\ T^\prime (\psi_1,\cdots,\psi_m) &= (\varphi_1,\cdots,\varphi_n)C \end{aligned} \]

根据 $T^{\prime}(\psi)=\psi\circ T$ ，考虑上面的式子

\[\psi_k\circ T(v_1,\cdots,v_n) = \psi_k(w_1,\cdots,w_m)A = (0,\cdots,1_k,\cdots,0)A = (a_{k1},\cdots,a_{kn})\\ \]

注意第二步用到了 $\psi_k(w_k)=1$ ，其它均为 $0$ 的性质；根据第二个变换，注意到 $T^\prime(\psi_k) = \sum_{i=1}^nc_{ik}\varphi_i$ ，则有

\[T^\prime(\psi_k)(v_1,\cdots,v_n) = \left(\sum_{i=1}^nc_{ik}\varphi_i\right)(v_1,\cdots,v_n) = \left(\sum_{i=1}^nc_{ik}\varphi_i(v_1),\cdots,\sum_{i=1}^nc_{ik}\varphi_i(v_n)\right) = (c_{1k},\cdots,c_{nk}) \]

类似地使用 $\varphi_i(v_i)=1$ ，其它均为 $0$ 的性质。上下两式相同，于是 $A=C^T$ .

Definition B.69. 线性映射 $T:V\to W$ 的重对偶映射 double dual map 是线性映射 $T^{\prime\prime}:V^{\prime\prime}\to W^{\prime\prime}$ 定义为 $T^{\prime\prime}=(T^\prime)^\prime$ .

Theorem B.70. 对于 $T\in \mathcal{L}(V)$ 和 $\Lambda:V\to V^{\prime\prime}$ 有

\[T^{\prime\prime}\circ \Lambda = \Lambda\circ T \]

$Proof.$ 根据定义我们有 $T^{\prime\prime}\circ \Lambda:V\to V^{\prime\prime}$ ，根据 $T^{\prime}(\varphi) = \varphi\circ T$ 有第二步

\[\forall v\in V,\quad (T^{\prime\prime}\circ \Lambda)v = (T^\prime)^\prime\Lambda v = \Lambda v\circ T^\prime \]

我们得到 $\Lambda v\circ T^\prime\in V^{\prime\prime}$ ，它是 $V^\prime$ 的对偶空间，由于 $T^\prime\varphi\in V^\prime$ ，根据 $(\Lambda v)(\varphi)=\varphi(v)$ 就有

\[\forall \varphi\in V^\prime,\quad (\Lambda v\circ T^\prime)\varphi = (\Lambda v)(T^\prime\varphi) = (T^\prime\varphi)v = (\varphi \circ T)v = \varphi(Tv) = (\Lambda Tv)(\varphi) = (\Lambda\circ T)v\varphi \]

于是 $(T^{\prime\prime}\circ \Lambda)v\varphi = (\Lambda\circ T)v\varphi$ ，因而 $T^{\prime\prime}\circ \Lambda = \Lambda\circ T$ .

Corollary B.71. 对于 $T\in \mathcal{L}(V)$ ，若 $V$ 是有限维，则重对偶映射为

\[T^{\prime\prime}=\Lambda\circ T\circ \Lambda^{-1} \]

这是 Theorem B.70 和 Lemma B.65 的直接推论.

The null space and range of the dual of a linear map

Definition B.72. 子空间 $U\subset V$ 的零化子 annihilator 定义为

\[U^0 = \{\varphi\in V^\prime:\forall u\in U,\ \varphi(u)=0 \} \]

零化子是将 $U$ 映到 $\{0\}$ 的对偶映射 $\varphi\in V^\prime$ 的集合，即 $\varphi:U\to \{0\}$ .

Lemma B.75. 零化子 $U^0\subset V^\prime$ 是子空间.

Lemma B.77. 设 $V$ 有限维，则有

\[\dim U+\dim U^0=\dim V \]

$Proof.$ 子空间的维数和其零化子的维数和就是 $V$ 的维数。我们先取 $U$ 中的基 $u_1,\cdots,u_m$ ，然后将其扩张为 $V$ 中的基 $u_1,\cdots,u_n$ ，则它们对应 $V^\prime$ 中的基 $\varphi_1,\cdots,\varphi_n$ 。根据对偶基的定义，只有下标相同的作用才非零，于是 $\varphi_{m+1},\cdots,\varphi_n\in U^0$ ，它们就是 $U^0$ 的基，因此有 $\dim U+\dim U^0=\dim V$ .

Lemma B.78. 任意线性映射 $T\in \mathcal{L}(V,W)$ 满足

\[\mathrm{null}\ T^\prime = (\mathrm{range}\ T)^0 \]

$Proof.$ 我们知道 $\mathrm{range}\ T\sub W$ ，则 $(\mathrm{range}\ T)^0\sub W^\prime$ ，它是将 $\mathrm{range}\ T$ 映到 $0$ 的映射 $\psi\in W^\prime$ 的集合；另一方面， $\mathrm{null}\ T^\prime \sub W^\prime$ ，它是被 $T^\prime$ 映到 $0$ 的映射 $\psi\in W^\prime$ 的集合.

Lemma B.79. 有限维向量空间 $V,W$ 上的任意线性映射 $T\in \mathcal{L}(V,W)$ 满足

\[\dim \mathrm{null}\ T^\prime = \dim \mathrm{null}\ T + \dim W - \dim V \]

$Proof.$ 根据先前的引理 $\mathrm{null}\ T^\prime = (\mathrm{range}\ T)^0$ 有

\[\dim \mathrm{null}\ T^\prime = \dim (\mathrm{range}\ T)^0 = \dim W - \dim \mathrm{range}\ T \]

又知道 $\dim \mathrm{range}\ T = \dim V - \dim\mathrm{null}\ T$ ，因此

\[\dim W - \dim \mathrm{range}\ T = \dim W - \dim V + \dim\mathrm{null}\ T = \dim \mathrm{null}\ T + \dim W - \dim V \]

注意 $\mathrm{range}\ T\sub W$ ，因此 Lemma B.77 要应用在 $W$ 上.

Note. 事实上，如果稍微改写上面的等式，会得到一个较为直观的结果。由于 $\dim W=\dim W^\prime$ ，于是

\[\dim \mathrm{null}\ T^\prime = \dim \mathrm{null}\ T + \dim W - \dim V = \dim \mathrm{null}\ T + \dim W^\prime - \dim V \]

多次移项就得到下式

\[\dim W^\prime - \dim \mathrm{null}\ T^\prime = \dim V - \dim \mathrm{null}\ T \]

这样两边的关系就更加清晰：$\mathrm{null}\ T^\prime \sub W^\prime,\ \mathrm{null}\ T\sub V$ ，两个空间中剩余的维数相同.

Corollary B.80. 有限维向量空间 $V,W$ 上的任意线性映射 $T\in \mathcal{L}(V,W)$ 满射当且仅当 $T^\prime$ 是单射.

$Proof.$ 事实上，容易看出

\[\mathrm{null}\ T^\prime = \{0\}\quad \Leftrightarrow\quad \dim \mathrm{null}\ T^\prime = 0\quad \Leftrightarrow\quad \dim \mathrm{null}\ T = \dim V - \dim W \]

左边蕴含 $T^\prime$ 是单射，右边蕴含 $T$ 是满射.

Lemma B.81. 有限维向量空间 $V,W$ 上的任意线性映射 $T\in \mathcal{L}(V,W)$ 满足

\[\dim \mathrm{range}\ T^\prime = \dim\mathrm{range}\ T \]

$Proof.$ 在这里我们就看到改写式子的直观性

\[\dim \mathrm{range}\ T^\prime= \dim W^\prime - \dim \mathrm{null}\ T^\prime = \dim V - \dim \mathrm{null}\ T = \dim\mathrm{range}\ T \]

也就说明了 Lemma B.79 的本质是 $T,T^\prime$ 像空间的维数相同.

Lemma B.82. 有限维向量空间 $V,W$ 上的任意线性映射 $T\in \mathcal{L}(V,W)$ 满足

\[\mathrm{range}\ T^\prime = (\mathrm{null}\ T)^0 \]

$Proof.$ 此引理的证明类似于 Lemma B.78 ，实际上 $\mathrm{null}\ T^\prime = (\mathrm{range}\ T)^0$ 与上式完全是互补的.

Corollary B.83. 有限维向量空间 $V,W$ 上的任意线性映射 $T\in \mathcal{L}(V,W)$ 单射当且仅当 $T^\prime$ 是满射.

$Proof.$ 证明类似于 Corollary B.80 ，不再赘述.

Matrix ranks

Definition B.84. 矩阵 $A\in\mathbb{F}^{m\times n}:\mathbb{F}^n\to\mathbb{F}^m$ 的列空间 column space 或者像空间是其列向量的全部线性组合，它的行空间 row space 是 $A^T$ 的列空间，它的核空间 null space / kernel 是将 $A$ 看做线性算子的核空间，其左核空间 left null space 是 $A^T$ 的核空间.

Definition B.85. 矩阵 $A\in\mathbb{F}^{m\times n}$ 的列秩 column rank 和行秩 row rank 是其列空间和行空间的维数.

Lemma B.86. 记 $A_T$ 为线性算子 $T\in \mathcal{L}(V,W)$ 的矩阵，则 $A_T$ 的列秩是 $\mathrm{range}\ T$ 的维数.

$Proof.$ 根据定义有 $T(v_1,\cdots,v_n) = (w_1,\cdots,w_m)A_T$ ，我们有

\[Tv_j = \sum_{i=1}^ma_{ij}w_i = A_{Tj}\cdot (w_1,\cdots,w_m)^T,\quad \mathrm{range}\ T = \mathrm{span} (Tv_1,\cdots,Tv_k) \]

其中我们假设 $Tv_1,\cdots,Tv_k$ 是基，于是左边得到 $n$ 个线性方程，用向量内积形式表示

\[\begin{matrix} Tv_1 = A_{T1}\cdot (w_1,\cdots,w_m)^T\\ Tv_2 = A_{T2}\cdot (w_1,\cdots,w_m)^T\\ \vdots\\ Tv_n = A_{Tn}\cdot (w_1,\cdots,w_m)^T \end{matrix} \]

其中 $A_{Tj}$ 表示 $A_T$ 的第 $j$ 列，对于 $Tv_j$ 的线性组合就有

\[0 = c_1Tv_1+\cdots+c_nTv_n = (c_1A_{T1}+\cdots+c_nA_{T_n})\cdot(w_1,\cdots,w_m)^T \]

注意到右边是 $w_j$ 的线性组合，而 $w_1,\cdots,w_m$ 线性无关，因此只能有

\[c_1Tv_1+\cdots+c_nTv_n = 0\quad \Leftrightarrow\quad c_1A_{T1}+\cdots+c_nA_{T_n} = 0 \]

因为 $w_1,\cdots,w_m$ 的任何部分组都线性无关，因此上式可以推广到任意 $Tv_j$ 的部分线性组合，从而 $Tv_j,A_{Tj}$ 只能同步线性无关，它们张成的空间维数相同.

Theorem B.87. 任意 $A\in\mathbb{F}^{m\times n}$ 的行秩等于列秩.

$Proof.$ 定义线性映射 $T:\mathbb{F}^n\to\mathbb{F}^m,\ Tx=Ax$ ，显然有 $A$ 是 $T$ 在标准基下的矩阵，用 $\mathrm{rank_c}A$ 表示列秩，则有

\[\mathrm{rank_c}A = \dim \mathrm{range}\ T = \dim\mathrm{range}\ T^\prime = \mathrm{rank_c}A^T \]

其中 $T,T^\prime$ 的矩阵互为转置推得最后一步.

Definition B.88. 矩阵的秩 rank 是它的列秩.

Theorem B.89 (Fundamental theroem of linear algebra). 矩阵 $A\in\mathbb{F}^{m\times n}:\mathbb{F}^n\to\mathbb{F}^m$ 的列空间和行空间维数 $r\le \min(m,n)$ ；它的核空间和左核空间维数为 $n-r$ 和 $m-r$ ；另外有

\[\mathrm{F}^m = \mathrm{range}\ A\oplus \mathrm{null}\ A^T\\ \mathrm{F}^n = \mathrm{range}\ A^T\oplus \mathrm{null}\ A \]

其中 $\mathrm{range}\ A\perp \mathrm{null}\ A^T,\ \mathrm{range}\ A^T\perp \mathrm{null}\ A$ .

$Proof.$ 我们只证明第二个等式，对于 $x\in\mathrm{null}\ A$ ，有 $Ax=0$ ，取 $A$ 的行向量 $a_i^T$ 就有

\[\left(\begin{matrix} a_1^T\\ a_2^T\\ \vdots\\ a_m^T \end{matrix}\right) x = 0 \]

也就是说 $x\perp a_j^T$ ，根据 $\mathrm{range}\ A^T = \mathrm{span}(a_1^T,\cdots,a_m^T)$ ，因此 $x\perp \mathrm{range}\ A^T$ ，直和关系容易得到.

Eigen and invariant subspaces

Invariant subspaces

Definition B.90. 在线性算子 $T\in \mathcal{L}(V)$ 作用下的子空间 $U\sub V$ 不变 invariant 若 $u\in U\Rightarrow Tu\in U$ .

Definition B.92. 线性算子 $T\in \mathcal{L}(V)$ 满足 $Tv=\lambda v,\ v\neq 0$ ，则称 $\lambda\in\mathbb{F}$ 为特征值 eigenvalue ， $v\in V$ 为对应的特征向量 eigenvector .

Lemma B.93. 若 $V$ 有限维，则 $\lambda\in\mathbb{F}$ 为特征值当且仅当 $T-\lambda I$ 不是单射.

Lemma B.95. 设 $\lambda_1,\cdots,\lambda_m$ 是 $T\in \mathcal{L}(V)$ 的互异特征值，对应有特征向量 $v_1,\cdots,v_m$ ，则它们线性无关.

Lemma B.96. 若 $V$ 有限维，则其上的算子至多有 $\dim V$ 个互异特征值.

Definition B.97. 线性算子 $T\in \mathcal{L}(V)$ 下的不变子空间为 $U\sub V$ ，则约束算子 restriction operator $T|_U\in \mathcal{L}(U)$ 定义为

\[\forall u\in U,\quad T|_U(u) = Tu \]

也就是将作用空间变为子空间 $U$ .

Existence of eigenvalues

Notation 17. 线性算子 $T\in \mathcal{L}(V)$ ，多项式 $p\in\mathbb{P(F)}$ 定义为

\[p(z) = a_0+a_1z+\cdots+a_mz^m,\quad z\in\mathbb{F} \]

则 $p(T)$ 是一个算子

\[p(T) = a_0I+a_1T+\cdots+a_mT^m \]

其中 $I=T^0$ 为单位算子；容易证明，可以类似于普通多项式来定义算子多项式的运算，它符合普通多项式的各种性质.

Theorem B.101 (Existence of eigenvalues). 有限维非零复向量空间 $V$ 上的线性算子 $T$ 有特征值.

$Proof.$ 任取非零向量 $v\in V$ ，则有 $v,Tv,\cdots,T^nv$ 线性相关，于是

\[0 = a_0v+a_1Tv+\cdots+a_nT^nv = (a_0+a_1T+\cdots+a_nT^n)v \]

根据代数基本定理，多项式 $a_0+a_1T+\cdots+a_nT^n$ 有根，因此

\[c(T-\lambda_1I)(T-\lambda_2I)\cdots(T-\lambda_nI)v = 0 \]

因此存在某个 $\lambda_i$ 使得 $T-\lambda_i I$ 不是单射，从而 $\lambda_i$ 就是特征值.

Upper-trianglular matrices

Theorem B.102. 线性算子 $T\in \mathcal{L}(V)$ ， $v_1,\cdots,v_n$ 是 $V$ 的基，则下面陈述等价：

$T$ 关于该基的矩阵是上三角阵
$Tv_j\in\mathrm{span}(v_1,\cdots,v_j)$
$\mathrm{span}(v_1,\cdots,v_j)$ 是 $T$ 下的不变子空间

Theorem B.104. 任意有限维非零复向量空间 $V$ 上的线性算子 $T$ 关于 $V$ 的某个基的矩阵是上三角阵.

Theorem B.105. 线性算子 $T\in \mathcal{L}(V)$ 关于 $V$ 的某个基的矩阵是上三角阵，则 $T$ 可逆当且仅当矩阵对角元非零.

Theorem B.106. 线性算子 $T\in \mathcal{L}(V)$ 关于 $V$ 的某个基的矩阵是上三角阵，则 $T$ 的特征值就是对角元素.

Eigenspaces and diagonal matrices

Definition B.108. 特征值 $\lambda\in\mathbb{F}$ 对应的特征空间 eigenspace 为 $E(\lambda,T) = \mathrm{null}\ (T-\lambda I)$ .

Lemma B.109. 若 $V$ 有限维，设 $\lambda_1,\cdots,\lambda_m$ 是 $T\in \mathcal{L}(V)$ 的互异特征值，则

\[E(\lambda_1,T)+\cdots+E(\lambda_m,T) \]

是直和，并且

\[\dim E(\lambda_1,T)+\cdots+\dim E(\lambda_m,T) \le \dim V \]

此引理和下面定理的证明在以后补充.

Theorem B.111 (Conditions of diagonalizability). 若 $V$ 有限维，设 $\lambda_1,\cdots,\lambda_m$ 是 $T\in \mathcal{L}(V)$ 的互异特征值，则下面陈述等价：

$T$ 可对角化 diagonalizable
$V$ 有一个 $T$ 的特征向量构成的基
存在一维子空间 $U_1,\cdots,U_n\sub V$ ，每一个都在 $T$ 下不变，使得 $V=U_1\oplus\cdots\oplus U_n$
$V=E(\lambda_1,T)\oplus\cdots\oplus E(\lambda_m,T)$
$\dim V = \dim E(\lambda_1,T)+\cdots+\dim E(\lambda_m,T)$

Corollary B.112. 算子 $T\in \mathcal{L}(V)$ 可对角化若 $T$ 有 $\dim V$ 个互异特征值.

Operators on complex vector spaces

Generalized eigenvectors

Lemma B.113. 对于线性算子 $T\in \mathcal{L}(V)$ 有

\[\{0\}\sub \mathrm{null}\ T^0\sub \mathrm{null}\ T^1\sub \cdots\sub \mathrm{null}\ T^k\sub \cdots \]

此引理说明了核空间的包含关系：随着算子 $T$ 的重复作用，“越来越多“ 的元素被映射到 $0$ .

Lemma B.114. 若线性算子 $T\in \mathcal{L}(V)$ 满足 $\mathrm{null}\ T^m = \mathrm{null}\ T^{m+1}$ ，则

\[\mathrm{null}\ T^m = \mathrm{null}\ T^{m+1} = \cdots \]

$Proof.$ 这说明 $\forall v\in \mathrm{range}\ T^m,\ v\neq 0$ 有 $Tv\neq 0$ ，此时 $T$ 对 $\mathrm{range}\ T^m$ 的作用变成了单射，非零元素在 $T$ 作用下总是非零，因此核空间中的元素不再增加.

Lemma B.115. 线性算子 $T\in \mathcal{L}(V)$ 满足

\[\mathrm{null}\ T^n = \mathrm{null}\ T^{n+1} = \cdots \]

其中 $n=\dim V$ .

$Proof.$ 如果上面的引理在 $m\le n$ 有 $\mathrm{null}\ T^m = \mathrm{null}\ T^{m+1}$ ，那么显然成立；否则，这就意味着有真包含关系

\[\{0\}\subsetneq \mathrm{null}\ T^0\subsetneq \mathrm{null}\ T^1\subsetneq \cdots\subsetneq \mathrm{null}\ T^n\subsetneq \mathrm{null}\ T^{n+1} \]

根据子空间的性质， $\mathrm{null}\ T^{n+1}$ 中必有 $n+1$ 个线性无关的向量，这是不可能的.

Theorem B.116. 线性算子 $T\in \mathcal{L}(V)$ 满足

\[V = \mathrm{null}\ T^n\oplus \mathrm{range}\ T^n \]

其中 $n=\dim V$ .

$Proof.$ 我们已经说明 $T$ 对 $\mathrm{range}\ T^n$ 的作用变成了单射，注意到 $V-\mathrm{range}\ T^n$ 中的所有元素经过 $T^n$ 作用都映到 $0$ ，所以我们有

\[\mathrm{null}\ T^n =( V-\mathrm{range}\ T^n) \cup \{0\} \quad \Rightarrow\quad V = \mathrm{null}\ T^n + \mathrm{range}\ T^n \]

并且它们显然只相交于 $0$ ，故是直和.

Definition B.119. 线性算子 $T\in \mathcal{L}(V)$ 对应特征值 $\lambda$ 的广义特征向量 generalized eigenvector 是非零向量 $v\in V$ 满足

\[\exist j\in \mathbb{N}^+\quad \mathrm{s.t.}\quad (T-\lambda I)^jv = 0 \]

这里与一般特征向量 $Tv=\lambda v$ 看起来不太一样，但其更加本质。实际上我们也是用这种方式 $(T-\lambda I)v=0$ 来定义一般特征向量的.

Definition B.119. 线性算子 $T\in \mathcal{L}(V)$ 对应特征值 $\lambda$ 的广义特征空间 generalized eigenspace 记为 $G(\lambda,T)$ ，是全体广义特征向量和零向量的集合.

Lemma B.120. 广义特征空间 $G(\lambda,T)$ 满足

\[\forall T\in \mathcal{L}(V),\ \forall \lambda\in\mathbb{F},\quad G(\lambda,T)=\mathrm{null}\ (T-\lambda I)^{n} \]

其中 $n=\dim V$ .

$Proof.$ 这里运用了之前的核空间性质：只要有 $\mathrm{null}\ T^m = \mathrm{null}\ T^{m+1}$ ，那么更高次的作用下核空间都相同。而 $\mathrm{null}\ T^n$ 就是最大的核空间，因此上面直接使用了 $\mathrm{null}\ (T-\lambda I)^{n}$ .

Definition B.121. 算子 $T$ 特征值 $\lambda$ 的代数重数 algebraic multiplicity 是其广义特征空间的维数

\[m_a(\lambda) = \dim G(\lambda, T) = \dim \mathrm{null}\ (T-\lambda I)^{n} \]

几何重数 geometric multiplicity 是其特征空间的维数

\[m_g(\lambda) = \dim E(\lambda,T) = \dim \mathrm{null}\ (T-\lambda I) \]

指数 index 是最小的整数 $k$ 使得

\[\mathrm{null}\ (T-\lambda I)^k = \mathrm{null}\ (T-\lambda I)^{k+1} \]

即它是达到最大核空间所需的最小作用次数.

Corollary B.122. 几何重数和代数重数满足

\[1\le m_g(\lambda)\le m_a(\lambda) \]

$Proof.$ 显然特征空间至少是一维的，并且 $E(\lambda,T)\sub G(\lambda,T)$ ，即证.

Definition B.123. 算子 $T$ 的特征值 $\lambda$ 是残缺的 defective 当 $m_g(\lambda)<m_a(\lambda)$ ，如果 $T$ 有残缺特征值，则称 $T$ 残缺.

Lemma B.125. 线性算子 $T\in \mathcal{L}(V)$ 互异特征值的广义特征向量线性无关.

$Proof.$ 令 $(\lambda_i,v_i)$ 为 $T$ 的广义特征对，定义

\[w = (T-\lambda_1 I)^kv_1 \]

其中 $k$ 是使得 $w\neq 0$ 的最大整数，因此 $(T-\lambda_1 I)w = 0$ ，则 $w$ 是 $T$ 的特征向量，于是就有

\[\forall j\in\mathbb{N}^+,\ \forall \lambda\in\mathbb{F},\quad (T-\lambda I)^jw = (\lambda_1-\lambda)^jw \]

仍然记 $n=\dim V$ ，定义算子多项式

\[p(T) = (T-\lambda_1 I)^k(T-\lambda_2 I)^n\cdots(T-\lambda_m I)^n \]

假设 $m$ 个广义特征向量满足 $\sum_{i=1}^ma_iv_i=0$ ，因为其余 $m-1$ 个向量 $v_i$ 在 $(T-\lambda_i I)^n$ 作用下为 $0$ ，则有

\[0 = p(T)\sum_{i=1}^ma_iv_i = p(T)a_1v_1 \]

展开算子，应用 $(T-\lambda I)^jw = (\lambda_1-\lambda)^jw$ 得到

\[\begin{aligned} 0 &= a_1(T-\lambda_1 I)^k(T-\lambda_2 I)^n\cdots(T-\lambda_m I)^nv_1\\ &= a_1(T-\lambda_2 I)^n\cdots(T-\lambda_m I)^nw\\ &= a_1(\lambda-\lambda_2)^n\cdots(\lambda-\lambda_m)^nw \end{aligned} \]

则 $a_1 = 0$ ；类似地定义 $w_j = (T-\lambda_j I)^kv_j$ ，同理于上面可以得到 $a_j=0$ ，于是我们得到所有 $a_i=0$ ，则 $v_1,\cdots,v_m$ 线性无关.

Nilpotent operators

Definition B.126. 算子 $N\in \mathcal{L}(V)$ 称为是幂零的 nilpotent 若 $\exist k\in\mathbb{N}^+,\ N^k=0$ .

Lemma B.128. 幂零算子 $N\in \mathcal{L}(V)$ 满足

\[N^{\dim V} = 0 \]

$Proof.$ 我们知道 $N^{\dim V}$ 必然已经达到最大核空间，又由于幂零性质，最大核空间就是 $V$ ，于是 $N^{\dim V} = 0$ .

Lemma B.129. 任意幂零算子 $N\in \mathcal{L}(V)$ 有一个严格上三角阵 $M$ .

$Proof.$ 设 $n=\dim V$ ，我们取 $\mathrm{null}\ N$ 的基，然后将其扩张为 $\mathrm{null}\ N^k,\ k=2,\cdots,n$ 的基，于是就得到由这个基构成的矩阵

\[U = (u_1,\cdots,u_n) \]

实际上由于最大核空间就是 $V$ ，因此一定能得到它的基；然后我们就有 $N$ 关于这一基的矩阵

\[N(u_1,\cdots,u_n) = (u_1,\cdots,u_n)M \]

记 $M$ 的第 $j$ 列为 $M_j$ ，由于 $u_1\in\mathrm{null}\ N$ ，这意味着 $Nu_1=0,\ M_1=0$ ，考虑第一个出现在 $\mathrm{null}\ N^2-\mathrm{null}\ N$ 中的 $u_j$ ，则它前面所有 $u_i\in\mathrm{null}\ N$ 都蕴含 $M_i=0$ ，就有

\[M = (0_1,0_2,\cdots,0_{j-1},\cdots) \]

对于 $M_j$ ，我们知道 $Nu_j\in\mathrm{null}\ N$ ，因此它可以被前面 $\mathrm{null}\ N$ 中的基 $u_1,\cdots,u_{j-1}$ 线性表示

\[Nu_j = \sum_{i=1}^{j-1}c_iu_i,\quad \Rightarrow\quad M_j = (c_1,\cdots,c_{j-1},0,\cdots,0)^T \]

注意到只有前 $j-1$ 个分量不全为 $0$ ，以此类推就得到 $M$ 是一个上三角阵.

Lemma B.130. 若算子 $N\in \mathcal{L}(V)$ 幂零，则 $I+N$ 有平方根，即 $\exist M\in \mathcal{L}(V),\ M^2=N$ .

$Proof.$ 我们直接设法计算出平方根。由定义有 $m\in\mathbb{N}^+,\ N^m=0$ ，考虑算子

\[M = I+\sum_{i=1}^{m-1}a_iN^{i}\quad \Rightarrow\quad I+N=M^2 = \left(I+\sum_{i=1}^{m-1}a_iN^{i}\right)^2 \]

可以解出

\[2a_1 = 1,\ 2a_2+a_1^2=0,\ 2a_3+2a_1a_2=0,\ \cdots \]

于是可以唯一确定各项系数.

Operator decomposition

Lemma B.131. 算子多项式 $p(T)$ 满足 $\mathrm{null}\ p(T)$ 和 $\mathrm{range}\ p(T)$ 都是 $T$ 下的不变子空间.

$Proof.$ 只需要证明 $\forall v\in \mathrm{null}\ p(T),\ Tv\in\mathrm{null}\ p(T)$ ，而由于

\[p(T)(Tv) = T(p(T)v) = T0 = 0 \]

得证；类似的， $\forall v\in \mathrm{range}\ p(T),\ \exist u\in V,\ v=p(T)u$ ，则有

\[Tv = T(p(T)u) = p(T)(Tu) \in \mathrm{range}\ p(T) \]

其中 $Tu\in V$ ，因此有最后一步.

Theorem B.132 (Decomposition operators on complex vector spaces). 设 $V$ 为复向量空间， $T\in \mathcal{L}(V)$ ， $\lambda_1,\cdots,\lambda_m$ 是 $T$ 的全部互异特征值，则

$V=G(\lambda_1,T)\oplus\cdots\oplus G(\lambda_m,T)$
每一个 $G(\lambda_j,T)$ 都是 $T$ 下的不变子空间
每一个 $(T-\lambda_j I)|_{G(\lambda_j,T)}$ 是幂零算子

$Proof.$ 后两个结论由前面的引理和定义分别得证；对第一个结论，设 $n=\dim V$ ，然后进行归纳。当 $n=1$ ，显然；假设对维数小于 $n$ 的向量空间成立，则取特征值 $\lambda_1$ ，由于 $V = \mathrm{null}\ T^n\oplus \mathrm{range}\ T^n$ ，应用到 $T-\lambda_1I$ 有

\[V=G(\lambda_1,T)\oplus U,\quad U=\mathrm{range}\ (T-\lambda_1 I)^n \]

若 $U$ 是空集，即证；否则由 $p(T) = (T-\lambda_1 I)^n$ ，因此 $U=\mathrm{range}\ p(T)$ 是不变子空间。限制映射 $T|_U$ 有互异特征值 $\lambda_2,\cdots,\lambda_m$ ，并且它们不为 $\lambda_1$ 。由于 $\dim G(\lambda_1,T)\ge 1$ ，则 $\dim U< n$ ，因此可以应用归纳假设

\[U = G(\lambda_2,T|_U)\oplus\cdots\oplus G(\lambda_m,T|_U) \]

这样我们只需要证明 $G(\lambda_j,T|_U)=G(\lambda_j,T),\ j=2,\cdots,m$ ，事实上我们有

\[G(\lambda_j,T) = V\cap G(\lambda_j,T) = G(\lambda_j,T)\cap (G(\lambda_1,T)\oplus U) = G(\lambda_j,T|_U) \]

这里运用了 $U\cap G(\lambda_j,T|_U) = G(\lambda_j,T|_U)$ .

Corollary B.134. 设 $V$ 为复向量空间， $T\in \mathcal{L}(V)$ ，则存在由 $T$ 的广义特征向量构成的基.

Definition B.135. 分块对角阵 block diagonal matrix $A$ 是一个方阵，具有形式

\[\left( \begin{matrix} A_1 & & 0\\ & \ddots &\\ 0 & & A_m \end{matrix} \right) \]

其中 $A_1,\cdots,A_m$ 都是方阵.

Theorem B.136. 设 $V$ 为复向量空间， $T\in \mathcal{L}(V)$ ， $\lambda_1,\cdots,\lambda_m$ 是 $T$ 的全部互异特征值，有重数 $d_1,\cdots,d_m$ ，则存在 $V$ 中的基对应 $T$ 作用的矩阵是一个分块对角阵，并且每一块 $A_j\in\mathbb{C}^{d_j\times d_j}$ 都是上三角阵，具有形式

\[\left( \begin{matrix} \lambda_j & & *\\ & \ddots &\\ 0 & & \lambda_j \end{matrix} \right) \]

$Proof.$ 每一个 $(T-\lambda_j I)|_{G(\lambda_j,T)}$ 是幂零算子，因此可以选取 $G(\lambda_j,T)$ 中的基，使得其在该算子下的矩阵是严格上三角阵。于是

\[T|_{G(\lambda_j,T)} = (T-\lambda_j I)|_{G(\lambda_j,T)} + \lambda_j I|_{G(\lambda_j,T)} \]

就对应上面形式的 $A_j$ ，根据 $V=G(\lambda_1,T)\oplus\cdots\oplus G(\lambda_m,T)$ 即证.

Corollary B.138. 复向量空间 $V$ 上的算子 $T$ 都可以分解为 $T=\Lambda+N$ ，其中 $\Lambda$ 可对角化， $N$ 为幂零算子，且 $\Lambda N=N\Lambda$ .

$Proof.$ 我们知道 $T$ 具有分块对角形式的矩阵，对角块记为 $T_1,\cdots,T_p$ ，并且有分解 $T_j=N_j+\Lambda_j,\ N_j=T_j-\lambda_j I_j$ ，显然这一分解符合要求，实际上 $\Lambda_j$ 就是对角化的 $\Lambda_j = \lambda_j I_j$ ，因此可以交换 $\Lambda_jN_j=N_j\Lambda_j$ ，而分块对角矩阵的乘法中，各块之间互不影响，即证.

Theorem B.140. 复向量空间 $V$ 上的可逆算子 $T$ 都有平方根.

$Proof.$ 令 $\lambda_1,\cdots,\lambda_m$ 为 $T$ 的全部互异特征值，则 $N_j=(T-\lambda_j I)|_{G(\lambda_j,T)}$ 是幂零算子，即有 $T|_{G(\lambda_j,T)} = \lambda_j I+N_j$ 。由于 $T$ 可逆，因此 $\lambda_j\neq 0$ ，并且

\[T|_{G(\lambda_j,T)} = \lambda_j(I+\dfrac{N_j}{\lambda_j}) \]

之前证明了对幂零算子 $N$ ， $I+N$ 有平方根，因此有 $R_j\in \mathcal{L}(G(\lambda_j,T)),\ R_j^2 = T|_{G(\lambda_j,T)}$ ；然后我们要将这些块组合起来：

根据 $V=G(\lambda_1,T)\oplus\cdots\oplus G(\lambda_m,T)$ ，任意 $v\in V$ 可以被表示为 $v=\sum_{i=1}^mu_i,\ u_i\in G(\lambda_i,T)$ ，因此定义

\[R(v) = \sum_{j=1}^mR_iu_j \]

可以验证 $R\in \mathcal{L}(V)$ 且满足 $R^2=V$ .

Jordan basis

Definition B.141. $k$ 阶若当块 Jordan block 具有形式

\[J(\lambda, k) = \left( \begin{matrix} \lambda\\ 1 & \lambda\\ & \ddots & \ddots\\ & & 1 & \lambda \end{matrix} \right)_k \]

这里和讲义上不一样，为了和教材保持一致，我将矩阵进行了转置.

Lemma B.145. 对于幂零算子 $N\in \mathcal{L}(V)$ ，存在 $v_1,\cdots,v_n\in V,\ m_1,\cdots,m_n\in\mathbb{N}$ 使得

$v_1,Nv_1,\cdots,N^{m_1}v_1\ ,\cdots,\ v_n,Nv_n,\cdots,N^{m_n}v_n$ 构成 $V$ 的一组基
$N^{m_1+1}v_1=\cdots=N^{m_n+1}v_n=0$

$Proof.$ 首先我们考虑如何得到 $v_j$ ，实际上它们都是对应 $m_j$ 重特征值 $\lambda_j$ 的特征向量。在 Lemma B.125 中我们证明了广义特征向量线性无关，于是 $v_1,\cdots,v_n$ 也是一个线性无关组，且有 $N^{m_j+1}v_j = 0$ ，它们符合第二条件。

然后取 $v_1$ ，将其扩张为 $v_1,Nv_1,\cdots,N^{m_1}v_1$ ，我们证明这是一个线性无关组。实际上，假设有

\[c_1v_1+c_2Nv_1+\cdots+c_{m_1}N^{m_1}v_1 = 0 \]

两边同时作用 $N^{m_1}$ 就有 $c_1N^{m_1}v_1=0$ ，根据特征向量的性质有 $c_1\lambda_1^{m_1}v_1=0$ ，这就存在两种情况：如果 $\lambda_1=0$ ，那么之前的扩张就只有 $v_1$ ，它显然线性无关；如果 $\lambda_1\neq 0$ ，则只能有 $c_1=0$ ；代回得到

\[c_2Nv_1+\cdots+c_{m_1}N^{m_1}v_1 = 0 \]

用同样的方法我们依次证明 $c_2,\cdots,c_{m_1}=0$ ，从而它们线性无关。于是可以证明每一个 $v_j,Nv_j,\cdots,N^{m_j}v_j$ 都是线性无关组，因此得到 $n$ 个它们张成的子空间 $V_1,V_2,\cdots,V_n$ ，证明它们是直和即可。

我们只需要证明 $V_i\cap V_j=\{0\}$ ，如果有非零公共元，则存在不全为零的 $\alpha_k,\beta_k$ 使得

\[\alpha_1v_i+\alpha_2Nv_i+\cdots+\alpha_{m_i}N^{m_i}v_i + \beta_{1}v_j+\cdots+\beta_{m_j}N^{m_j}v_j=0 \]

两边同时作用 $N$ 使得剩余非零项有 $3$ 种可能的形式

\[\begin{aligned} \alpha_1N^pv_i+\beta_1N^qv_j &=0\\ \alpha_1N^pv_i &= 0\\ \beta_1N^qv_j &=0 \end{aligned} \]

其中 $p,q$ 不一定相同，并且 $p\le m_i,\ q\le m_j$ ，因此对于后两种情况，显然分别有 $\alpha_1=0$ 和 $\beta_1=0$ ；而对于第一种情况，不妨假设 $p\ge q$ ，提取公共部分得到

\[N^{q}(\alpha_1N^{p-q}v_i+\beta_1 v_j)=0\quad \Rightarrow\quad \alpha_1N^{p-q}v_i+\beta_1 v_j\in \mathrm{null}\ N^q,\quad q\le m_j \]

但是显然若 $\alpha_1,\beta_1\neq 0$ ，就有 $\alpha_1N^{p-q}v_i,\ \beta_1 v_j\notin \mathrm{null}\ N^q$ ，它们的和不可能在核空间中，与上式矛盾，从而只能有 $\alpha_1=\beta_1=0$ 。

用同样的方法我们可以依次证明 $\alpha_k,\ \beta_k=0$ ，则 $0$ 是唯一的公共元，从而它们是直和.

Definition B.146. 线性算子 $T\in \mathcal{L}(V)$ 的若当基是 $V$ 的基，对应的矩阵有形式

\[J = \left( \begin{matrix} J(\lambda_1,k_1)\\ & J(\lambda_2,k_2)\\ & & \ddots\\ & & & J(\lambda_p,k_p) \end{matrix} \right) \]

其中 $\lambda_j$ 可能相同.

Theorem B.147 (Jordan). 复向量空间 $V$ 上的算子 $T$ 有若当基.

$Proof.$ 考虑 $T$ 为幂零算子 $N$ ，则可取基 $v_1,Nv_1,\cdots,N^{m_1}v_1\ ,\cdots,\ v_n,Nv_n,\cdots,N^{m_n}v_n$ ，则 $N$ 作用于每一部分有

\[N:(v_j,Nv_j,\cdots,N^{m_j-1}v_j,N^{m_j}v_j) \mapsto (Nv_j,N^2v_j,\cdots,N^{m_j}v_j,0) \]

即 $N$ 将其向左移动一位，然后把最后一个分量归零 annihilates ，因此在这一部分就有

\[N(v_j,Nv_j,\cdots,N^{m_j-1}v_j,N^{m_j}v_j) = (v_j,Nv_j,\cdots,N^{m_j-1}v_j,N^{m_j}v_j)M_j \]

其中矩阵 $M_j=J(0,k_j)$ 是一个若当块

\[M_j = \left( \begin{matrix} 0\\ 1 & 0\\ & \ddots & \ddots\\ & & 1 & 0 \end{matrix} \right)_k \]

因此对于幂零算子，若当基存在；若 $T$ 不是幂零算子，则取全部互异特征值 $\lambda_1,\cdots,\lambda_m$ ，有直和分解

\[V=G(\lambda_1,T)\oplus\cdots\oplus G(\lambda_m,T) \]

每一个 $N_j=(T-\lambda_j I)|_{G(\lambda_j,T)}$ 都是幂零算子，因此它们都有如上所示的若当基，添加对角部分 $\lambda_j I$ 组合就得到 $T$ 的若当基.

Inner product spaces

Inner products

Definition B.148. 向量空间 $V$ 上的内积 inner product 是一个函数 $V\times V\to \mathbb{F}$ 满足

自反性 real positivity $\left<v,v\right>\ge 0$
确定性 definiteness $\left<v,v\right>=0\Leftrightarrow v=0$
加法性 additivity in the first slot $\left<u+v,w\right>=\left<u,w\right>+\left<v,w\right>$
齐次性 homogeneity in the first slot $\left<au,v\right> = a\left<u,v\right> $
对称共轭 conjugate symmetry $\left<u,v\right>=\overline{\left<v,u\right>}$

内积空间 inner product space 是带有内积的向量空间.

Corollary B.149. 内积空间上的加法性关于第二个槽也成立 $\left<u,v+w\right>=\left<u,v\right>+\left<u,w\right>$ .

Corollary B.150. 内积齐次性关于第二个槽也成立 $\left<u,av\right> = \overline{a}\left<u,v\right> $ .

Definition B.152. 定义在 $\mathbb{F}^n$ 上的欧几里得内积 Euclidean inner space 为

\[\left<u,v\right> = \sum_{i=1}^nu_i\overline{v}_i \]

这是最常用的内积.

Norms induced from inner product

Definition B.153. 由内积诱导的范数是一个函数 $V\to\mathbb{F}$ 满足

\[\|v\| = \sqrt{\left<v,v\right>} \]

Definition B.154. 对于 $p\in[1,\infty)$ ，向量 $v\in\mathbb{F}^n$ 的欧几里得 $l_p$ 范数为

\[\|v\|_p = \left(\sum_{i=1}^n|v_i|^p \right)^{\frac{1}{p}} \]

而 $l_{\infty}$ 范数为

\[\|v\|_{\infty} = \max_i|v_i| \]

Theorem B.155 (Equivalence of norms). 任意两个定义在有限维向量空间 $V=\mathbb{C}^n$ 上的范数 $\|\cdot\|_N,\ \|\cdot\|_M$ 满足

\[\exist c_1,c_2\in\mathbb{R}^+,\quad \mathrm{s.t.}\quad \forall x\in V,\ c_1\|x\|_M\le \|x\|_N\le c_2\|x\|_M \]

此定理说明任意两个范数都是等价的.

Definition B.156. 两个向量 $v,w$ 在带有 $\mathbb{F}=\mathbb{R}$ 的内积空间中的夹角是 $\theta\in[0,\pi]$ 满足

\[\theta = \arccos \dfrac{\left<v,w\right>}{\|v\|\|w\|} \]

Theorem B.157 (The law of cosines). 任意三角形满足

\[c^2 = a^2+b^2-2ab\cos \gamma \]

容易根据向量内积证明此余弦定理.

Theorem B.158 (The law of cosines: abstract version). 实向量空间上的任意诱导范数满足

\[\|u-v\|^2 = \|u\|^2+\|v\|^2-2\left<u,v\right> \]

这是抽象意义上的余弦公式，利用范数定义转化为内积即证.

Norms and induced inner-products

Definition B.159. 函数 $\|\cdot\|:V\to\mathbb{F}$ 是向量空间 $V$ 上的范数 norm 当且仅当

自反性 real positivity $\|v\|\ge 0$
分离性 point separation $\|v\|=0\Leftrightarrow v=0$
齐次性 absolute homogeneity $\|av\| = a\|v\|$
三角不等式 triangle inequality $\|u+v\|\le \|u\|+\|v\|$

此函数称为半范数 semi-norm 如果它只不满足第二条。范数向量空间是带有范数的向量空间.

Lemma B.161. 由内积诱导的范数满足上述定义.

Theorem B.162 (The parallelogram law). 平行四边形四边的平方和等于对角线的平方和.

通过运用两次余弦定理就可以证明此结论.

Theorem B.163 (The parallelogram law: abstract version). 任意诱导范数满足

\[2\|u\|^2+2\|v\|^2=\|u+v\|^2+\|u-v\|^2 \]

此定理是平行四边形定理的抽象，运用两次抽象余弦定理就可以证明此结论.

Theorem B.165. 诱导范数对于某些内积成立当且仅当平行四边形定理对任意 $u,v\in V$ 成立.

Orthonormal bases

Definition B.168. 向量 $u,v$ 正交 orthogonal 若 $\left<u,v\right>=0$ .

Theorem B.170 (Pythagorean). 若 $u,v$ 正交，则 $\|u+v\|^2=\|u\|^2+\|v\|^2$ .

Theorem B.171 (Cauchy-Schwarz inequality).

\[|\left<u,v\right>| \le \|u\|\|v\| \]

其中等号成立当且仅当 $u,v$ 线性相关.

Definition B.175. 一列向量 $(e_1,\cdots,e_m)$ 标准正交 orthonormal 若其中的向量两两正交，并且每个向量范数为 $1$ .

Definition B.176. 内积空间 $V$ 的标准正交基 orthonormal basis 是一个标准向量列，并且也是 $V$ 的基.

Theorem B.177. 若 $(e_1,\cdots,e_m)$ 是 $V$ 的标准正交基，则

\[\forall v\in V,\quad v = \sum_{i=1}^m\left<v,e_i\right>e_i,\quad \|v\|^2=\sum_{i=1}^m|\left<v,e_i\right>|^2 \]

此定理较为显然，且在数值分析中也有证明.

Lemma B.178. 有限维内积空间都有标准正交基.

Theorem B.179 (Schur). 有限维复向量空间上的线性算子 $T\in \mathcal{L}(V)$ 有关于标准正交基的上三角阵.

Definition B.180. 向量空间 $V$ 上的线性泛函是一个线性映射 $V\to\mathbb{F}$ ，即是 $\mathcal{L}(V,F)$ 中的元素.

Theorem B.181 (Riesz representation theroem). 有限维向量空间 $V$ 满足

\[\forall \varphi\in V^\prime,\ \exist! u\in V,\quad \mathrm{s.t.}\quad \forall v\in V,\ \varphi(v)=\left<v,u\right> \]

$Proof.$ 此定理说明线性泛函作用可以用一个内积表示。令 $(e_1,\cdots,e_n)$ 是 $V$ 的标准正交基，则

\[\varphi(v) = \varphi\left(\sum_{i=1}^n\left<v,e_i\right>e_i \right) = \sum_{i=1}^n\left<v,e_i\right>\varphi\left(e_i \right) = \sum_{i=1}^n\left<v,\overline{\varphi\left(e_i \right)}e_i\right> = \left<v,\sum_{i=1}^n\overline{\varphi\left(e_i \right)}e_i\right> \]

因此存在 $u=\sum_{i=1}^n\overline{\varphi\left(e_i \right)}e_i$ 满足要求。然后我们证明唯一性，假设有 $\varphi(v)=\left<v,u_1\right>=\left<v,u_2\right>$ ，则

\[0 = \left<v,u_1\right> - \left<v,u_2\right> = \left<v,u_1-u_2\right> \]

令 $v=u_1-u_2$ ，则有 $u_1-u_2=0$ .

Operators on inner-product spaces

Adjoint and self-adjoint operators

Definition B.182. 内积空间上的线性映射 $T\in \mathcal{L}(V,W)$ 的伴随/共轭 adjoint 是一个函数 $T^*:W\to V$ 满足

\[\forall v\in V,\ \forall w\in W,\quad \left<Tv,w\right> = \left<v,T^*w\right> \]

也就是内积作用可交换.

Lemma B.184. 若 $T\in \mathcal{L}(V,W)$ ，则 $T^*\in \mathcal{L}(W,V)$ .

Theorem B.185. 共轭线性映射满足性质：

加法性 additivity $\forall S,T\in \mathcal{L}(V,W),\quad (S+T)^*=S^*+T^*$
齐次共轭 conjugate homogeneity $\forall T\in \mathcal{L}(V,W),\ \forall a\in \mathbb{F},\quad (aT)^*=\overline{a}T^*$
共轭的共轭 adjoint of adjoint $\forall T\in \mathcal{L}(V,W),\quad (T^*)^*=T$
单位特征 identity $I^*=I$
乘积 products 令 $U$ 为内积空间，则 $\forall T\in \mathcal{L}(V,W),\ \forall S\in \mathcal{L}(W,V),\quad (ST)^*=T^*S^*$

Lemma B.186. 共轭线性映射满足

$\mathrm{null}\ T^*=(\mathrm{range}\ T)^{\perp}$
$\mathrm{range}\ T^*=(\mathrm{null}\ T)^{\perp}$
$\mathrm{null}\ T=(\mathrm{range}\ T^*)^{\perp}$
$\mathrm{range}\ T=(\mathrm{null}\ T^*)^{\perp}$

$Proof.$ 只证明一个。对于 $v\in \mathrm{null}\ T,\ w\in V$ ，有

\[\left<v,T^*w \right> = \left<Tv,w \right> = \left<0,w \right> = 0 \]

因此 $\mathrm{null}\ T\perp \mathrm{range}\ T^*$ ，根据它们的维数关系即有 $\mathrm{null}\ T=(\mathrm{range}\ T^*)^{\perp}$ .

Definition B.187. 矩阵 $A\in\mathbb{C}^{m\times n}$ 的共轭转置 conjugate transpose 或者 Hermitian transpose 是矩阵 $A^*\in\mathbb{C}^{n\times m}$ ，定义为

\[(A^*)_{ij} = \overline{a_{ji}} \]

其中 $\overline{a_{ji}}$ 表示 $a_{ji}$ 的复共轭.

Definition B.189. 矩阵 $U\in\mathbb{C}^{n\times n}$ 称为酉矩阵 unitary 若 $U^*U=I$ ；矩阵 $U\in\mathbb{R}^{n\times n}$ 称为正交矩阵 orthonormal 若 $U^TU=I$ .

Theorem B.190. 矩阵 $U\in\mathbb{C}^{n\times n}$ 为酉矩阵当且仅当其列向量构成 $\mathbb{C}^{n\times n}$ 上的正交基.

Corollary B.191. 酉矩阵不改变内积和范数，即

\[\forall v,w\in \mathbb{C}^n,\quad \left<Uv,Uw\right> = \left<v,w\right> \]

Theorem B.192. 任意满足 $\det U=1$ 的酉矩阵 $U\in\mathbb{C}^{2\times 2}$ 具有形式

\[U=\left( \begin{matrix} a & b\\ -\overline{b} & \overline{a} \end{matrix} \right) \]

其中 $|a|^2+|b|^2=1$ .

Theorem B.193. 令 $T\in \mathcal{L}(V,W)$ ，设 $e_1,\cdots,e_n$ 为 $V$ 的标准正交基， $f_1,\cdots,f_m$ 为 $W$ 的标准正交基，则

\[M(T^*,(f_1,\cdots,f_m),(e_1,\cdots,e_n)) = M^*(T,(e_1,\cdots,e_n),(f_1,\cdots,f_m)) \]

也就是在标准正交基下自共轭的矩阵是转置共轭.

$Proof.$ 我们有 $T(e_1,\cdots,e_n)=(f_1,\cdots,f_m)M_T$ ，则有变换矩阵

\[M_T = \left( \begin{matrix} \left<f_1,Te_1\right> & \left<f_1,Te_2\right> & \cdots & \left<f_1,Te_n\right>\\ \left<f_2,Te_1\right> & \left<f_2,Te_2\right> & \cdots & \left<f_2,Te_n\right>\\ \vdots & \vdots & \ddots & \vdots\\ \left<f_m,Te_1\right> & \left<f_m,Te_2\right> & \cdots & \left<f_m,Te_n\right> \end{matrix} \right) \]

这实际上是利用分解 $Te_j = \sum_{i=1}^m\left<f_i,Te_j\right>f_i$ 得到的，即将各个 $f_i$ 上的分量相加得到 $Te_j$ .

Lemma B.194. 设 $V$ 为复内积空间， $T\in \mathcal{L}(V)$ ，若

\[\forall v\in V,\quad \left<Tv,v\right> = 0 \]

则 $T=0$ .

$Proof.$ 特别注意，这一引理需要复空间才成立。首先我们有

\[0 = \left<T(u+v), u+v\right> = \left<Tu, v\right> + \left<Tv, u\right> \]

然后考虑共轭性质就有

\[0 = \left<T(u+iv), u+iv\right> = \left<Tu, iv\right> + \left<Tiv, u\right> = -i\left<Tu, v\right> + i\left<Tv, u\right>\quad \Rightarrow\quad 0 = -\left<Tu, v\right> + \left<Tv, u\right> \]

结合两式得到 $\left<Tu, v\right> = 0$ ，根据 $u,v$ 的任意性，令 $v=Tu$ 即证.

Definition B.195. 算子 $T\in \mathcal{L}(V)$ 是做自共轭/伴随 self-adjoint 若 $T=T^*$ ，即

\[\forall v\in V,\ \forall w\in W,\quad \left<Tv,w\right> = \left<v,Tw\right> \]

也就是 $T$ 自己关于内积可交换.

Lemma B.196. 任意自共轭算子的特征值都是实数.

$Proof.$ 令 $(\lambda,u)$ 是特征对，则有

\[\lambda\|u\|^2 = \left<\lambda u,u\right> = \left<T u,u\right> = \left<u,T u\right> = \left<u,\lambda u\right> = \overline{\lambda}\left<u,u\right> = \overline{\lambda}\|u\|^2 \]

这实际上就类似于实对称矩阵特征值为实数的证明.

Theorem B.197. 设 $V$ 为复内积空间， $T\in \mathcal{L}(V)$ ，则 $T$ 是自共轭当且仅当

\[\forall v\in V,\quad \left<Tv,v\right>\in\mathbb{R} \]

$Proof.$ 我们需要 $T=T^*$ ，注意到 Lemma B.194 ，实际上只需证明

\[\forall v\in V,\quad \left<(T-T^*)v,v\right> = 0 \]

我们将左式展开得到

\[\left<(T-T^*)v,v\right> = \left<Tv,v\right> - \left<T^*v,v\right> = \left<Tv,v\right> - \left<v,Tv\right> \]

于是左右同步为 $0$ ，充要条件得证.

Lemma B.198. 设 $V$ 为实内积空间， $T\in \mathcal{L}(V)$ ，则若 $T$ 是自共轭，满足

\[\forall v\in V,\quad \left<Tv,v\right> = 0 \]

就有 $T=0$ .

$Proof.$ 注意此引理虽然是在实空间，但是多了自共轭条件，因此在 Lemma B.194 第一步

\[0 = \left<T(u+v), u+v\right> = \left<Tu, v\right> + \left<Tv, u\right> = \left<Tu, v\right> + \left<v, Tu\right> = 2\left<Tu, v\right> \]

就直接得证.

Normal operators

Definition B.199. 算子 $T\in \mathcal{L}(V)$ 是正规的 normal 若 $TT^*=T^*T$ .

Corollary B.200. 任意自共轭算子都正规.

Exercise. $T\in \mathcal{L}(V)$ 正规，则

$\mathrm{null}\ T = \mathrm{null}\ T^*$
$\forall k\in \mathbb{Z}^+,\quad \mathrm{null}\ T^k = \mathrm{null}\ T$

$Proof.$ 取 $v\in \mathrm{null}\ T$ ，则有

\[\left<T^*v,T^*v\right> = \left<v,TT^*v\right> = \left<v,T^*Tv\right> = 0 \]

只能有 $T^*v=0$ ，从而 $v\in\mathrm{null}\ T^*$ ，反之同理；显然 $\mathrm{null}\ T\sub\mathrm{null}\ T^2$ ，我们又知道 $\mathrm{range}\ T\perp\mathrm{null}\ T^*=\mathrm{null}\ T$ ，因此

\[\forall v\notin \mathrm{null}\ T,\quad Tv\notin \mathrm{null}\ T\quad \Rightarrow\quad v\notin\mathrm{null}\ T^2 \]

从而 $\mathrm{null}\ T^2\sub\mathrm{null}\ T$ ，则 $\mathrm{null}\ T=\mathrm{null}\ T^2$ ，根据核空间的性质即证.

Lemma B.201. $T\in \mathcal{L}(V)$ 正规当且仅当

\[\forall v\in V,\quad \|Tv\|=\|T^*v\| \]

$Proof.$ 我们只需要说明

\[\forall v\in V,\quad \left<(TT^*-T^*T)v,v\right> = 0 \]

我们将左式展开得到

\[0 = \left<TT^*v,v\right> - \left<T^*Tv,v\right> = \left<T^*v,T^*v\right> - \left<Tv,Tv\right> \]

再由内积导出的范数定义即证（这同时也证明了上面的推论）.

Lemma B.202. $T\in \mathcal{L}(V)$ 正规当且仅当 $T$ 的特征向量都是 $T^*$ 的特征向量.

$Proof.$ 如果 $T$ 正规，则 $T-\lambda I$ 也正规。根据上面的引理，我们取特征对 $(\lambda, u)$ 就有

\[0 = \|(T-\lambda I)u\| = \|(T-\lambda I)^*u\| = \|(T^*-\overline{\lambda} I)u\| \]

从而 $u$ 是 $T^*$ 的特征向量。反之，如果有公共特征向量 $u$ ，则取共轭转置有

\[(T^*-\overline{\lambda} I)u = 0\quad \Rightarrow\quad (T-\lambda I)u = 0 \]

因此对应的特征值共轭。接着只要证明这些公共特征向量构成 $V$ 的基，因为这样就有

\[TU = U\Lambda,\quad T^*U=U\Lambda^* \]

其中 $U$ 是特征向量构成的，从而

\[TT^*U=TU\Lambda^*=U\Lambda\Lambda^*=U\Lambda^*\Lambda=T^*U\Lambda=T^*TU \]

由于 $U$ 可逆，则 $TT^*=T^*T$ 。

只要证明 $T$ 可对角化，也就是对 $T$ 的任意特征对有

\[(A-\lambda I)^2u = 0\quad \Rightarrow\quad (A-\lambda I)u = 0 \]

因为这说明广义特征值重数是 $1$ ，若当块只能是 $1$ 维。定义 $v=(A-\lambda I)u$ 就有

\[\begin{aligned} \left<Au,v\right> &= \left<u,A^*v\right> = \left<u, \overline{\lambda} v\right> = \left<\lambda u,v\right>\\ \left<Au,v\right> &= \left<v+\lambda u,v\right> = \|v\|^2+ \left<\lambda u,v\right> \end{aligned} \]

这意味着 $v=0$ ，即证.

Theorem B.203. 线性算子 $T\in \mathcal{L}(V)$ 定义在二维实内积空间 $V$ 上，则下面陈述等价：

$T$ 正规，但不是自共轭
$T$ 在正交基下的矩阵有形式

\[M(T) = \left( \begin{matrix} a & -b\\ b & a \end{matrix} \right) \]

其中 $b\neq 0$ .

$Proof.$ 下推上是显然的，只要做共轭转置即证；反之，设有正交基 $(e_1,e_2)$ ，令

\[M(T,(e_1,e_2)) = \left( \begin{matrix} a & b\\ c & d \end{matrix} \right) \]

那么根据定义就有 $\|Te_1\|^2=a^2+b^2,\ \|T^*e_1\|^2=a^2+c^2$ ，于是 $b^2=c^2$ ，但是 $T$ 不是自共轭，因此 $b\neq c$ ；同理可证 $a=d$ .

The spectral theorems

Theorem B.204 (Complex spectral). 对于线性算子 $T\in \mathcal{L}(V),\ \mathbb{F}=\mathbb{C}$ ，下面陈述等价：

$T$ 正规
$V$ 有 $T$ 特征向量构成的正交基
$T$ 关于 $V$ 的一个正交基的矩阵是对角阵

Corollary B.205. 特征值是实数的正规算子 $T$ 是自共轭.

$Proof.$ 令 $T=P\Lambda P^{-1}$ ，其中 $P$ 是特征值构成的，根据正规算子特征对性质，则 $T^*=P\Lambda^* P^{-1} = P\Lambda P^{-1}=T$ .

Theorem B.206 (Real spectral). 对于线性算子 $T\in \mathcal{L}(V),\ \mathbb{F}=\mathbb{C}$ ，下面陈述等价：

$T$ 自共轭
$V$ 有 $T$ 特征向量构成的正交基
$T$ 关于 $V$ 的一个正交基的矩阵是对角阵

Isometries

Definition B.207. 算子 $S\in \mathcal{L}(V)$ 是等距 isometry 若

\[\forall v\in V,\quad \|Sv\|=\|v\| \]

Theorem B.208. 实内积空间中的算子 $S\in \mathcal{L}(V)$ 是等距当且仅当存在 $V$ 中的正交基，使得 $S$ 有分块对角阵，每一块具有如下形式之一

\[(1),\quad (-1),\quad \left( \begin{matrix} \cos \theta & -\sin\theta\\ \sin\theta & \cos\theta \end{matrix} \right) \]

其中 $\theta\in(0,\pi)$ .

Corollary B.209. 线性算子 $S\in \mathcal{L}(V)$ 定义在二维实内积空间 $V$ 上，则下面陈述等价：

$S$ 是等距
$S$ 是单位算子或是旋转

Singular value decomposition

Definition B.210. 算子 $T\in \mathcal{L}(V)$ 是半正定 positive semidefinite 若

\[\forall v\in V,\quad \left<Tv,v\right> \ge 0 \]

它是正定 positive definite 若

\[\forall v\in V,\quad \left<Tv,v\right> > 0 \]

是正的 positive 若它半正定并且自共轭.

Corollary B.211. 任意线性算子 $f\in \mathcal{L}(V)$ ，有 $f^*\circ f,\ f\circ f^*$ 都是自共轭并且半正定.

$Proof.$ 根据定义，自共轭性质是显然的；设 $(\lambda,u)$ 是 $(f^*\circ f)$ 的特征对，则我们有

\[\lambda\left<u,u\right> = \left<(f^*\circ f)u,u \right> = \left<fu,fu\right>\quad \Rightarrow\quad \lambda = \dfrac{\left<fu,fu \right>}{\left<u,u \right>} \ge 0 \]

对于 $f\circ f^*$ 也是类似的.

Definition B.212. 线性映射 $f$ 的奇异值 singular values 是 $f^*\circ f$ 非负特征值的平方根.

Definition B.213. 对矩阵 $A\in\mathbb{F}^{m\times n}$ ，分解 $A=P\Sigma Q^*$ 是奇异值分解 singular value decomposition (SVD) 若 $\Sigma\in\mathbb{R}^{m\times n}$ 是对角阵，而 $P,Q$ 是酉矩阵或正交阵。其中 $\Sigma$ 的对角元称为奇异值，而 $P,Q$ 的列向量称为左奇异向量和右奇异向量.

Theorem B.214. 任意矩阵 $A\in\mathbb{C}^{m\times n}$ 有 SVD .

Definition B.215. 矩阵 $A,B\in\mathbb{R}^{n\times n}$ 相似 similar 若存在可逆矩阵 $P$ 使得 $B=P^{-1}AP$ ，映射 $A\mapsto B$ 称为相似变换.

Trace and determinant

Definition B.216. 矩阵 $A$ 的迹 trace 记为 $\mathrm{tr}\ A$ ，是其对角元之和.

Lemma B.217. 矩阵的迹是其特征值重复其重数后相加的和.

$Proof.$ 我们考虑矩阵行列式 $\det (\lambda I-A) = (\lambda-\lambda_1)\cdots(\lambda-\lambda_n)$ ，展开得到

\[\det (\lambda I-A) = \lambda^n-(\lambda_1+\cdots+\lambda_n)\lambda^{n-1}+\cdots \]

根据行列式的运算规则，我们知道 $\lambda^{n-1}$ 的系数就是 $-\mathrm{tr}\ A$ .

Definition B.218. 集合 $A$ 的置换 permutation 是一个双射 $\sigma:A\to A$ .

Definition B.219. 令 $\sigma$ 为 $A=\{1,2,\cdots,n\}$ 的置换，数对 $(j,k),\ 1\le j\le k\le n$ ， $(m_1,\cdots,m_n)$ 由 $m_i=\sigma(i)$ 给出，记 $s$ 为中 $j$ 出现在 $k$ 之后的次数。若 $s$ 为偶，置换 $\sigma$ 的符号为 $1$ ；若 $s$ 为奇，置换 $\sigma$ 的符号为 $-1$ .

Definition B.220. 由向量 $v_1,\cdots,v_n\in\mathbb{R}^n$ 张成的符号平行体 signed volume of a parallelotope 是一个函数 $\delta:\mathbb{R}^{n\times n}\to\mathbb{R}$ 满足

$\delta(I)=1$
若有 $v_i=v_j,\ i\neq j$ ，则 $\delta(v_1,\cdots,v_n)=0$
$\delta$ 线性，即各项 $v_i$ 可以线性相加

Lemma B.222. 将一个向量倍乘加到另一个上不会改变符号体积.

Lemma B.223. 若 $v_1,\cdots,v_n$ 线性相关，则 $\delta(v_1,\cdots,v_n)=0$ .

Lemma B.224. 符号体积 $\delta$ 可交换，即

\[\delta(v_1,\cdots,v_i,\cdots,v_j,\cdots,v_n) = - \delta(v_1,\cdots,v_j,\cdots,v_i,\cdots,v_n) \]

Lemma B.226. 令 $M_{\sigma}$ 为置换 $\sigma:E\to E$ 的矩阵，其中 $E$ 是标准基向量的集合，则 $\delta(M_{\sigma})=\mathrm{sgn}\ \sigma$ .

Definition B.227 (Leibniz formula of determinants). 方阵 $A\in\mathbb{R}^{n\times n}$ 的行列式为

\[\det A = \sum_{\sigma\in S_n}\mathrm{sgn}\ \sigma\prod_{i=1}^n a_{\sigma(i),i} \]

即它是对称群 $S_n$ 所有置换作用于 $A$ 的行坐标后每一列关于 $\sigma$ 符号的乘积和.

Lemma B.228. 矩阵的行列式就是其特征值重复其重数的乘积.

Theorem B.229. 符号体积函数唯一，并且 $\delta = \det$ .

Definition B.231. 矩阵 $A\in\mathbb{R}^{n\times n}$ 的代数余子式 cofactor 为

\[C_{ij} = (-1)^{i+j}M_{ij} \]

其中 $M_{ij}$ 是矩阵 $A$ 划去 $i,j$ 行列后的行列式.

Theorem B.232 (Laplace formula of determinants). 给定下标 $i,j\in 1,2,\cdots,n$ ，方阵 $A\in\mathbb{R}^{n\times n}$ 的行列式为

\[\det A = \sum_{j^\prime=1}^n a_{ij^\prime}C_{ij^\prime} = \sum_{i^\prime=1}^na_{i^\prime j}C_{i^\prime j} \]

此即为拉普拉斯展开式.

posted @ 2022-03-03 19:45 Bluemultipl 阅读(320) 评论(0) 编辑收藏举报

刷新页面返回顶部

Loading

Bluemultipl

线性代数 Linear Algebra

Vector spaces

Subspaces

Span and linear independence

Bases

Dimension

Linear maps

Null spaces and ranges

The matrix of a linear map

Duality

Dual vector spaces

Dual linear maps

The null space and range of the dual of a linear map

Matrix ranks

Eigen and invariant subspaces

Invariant subspaces

Existence of eigenvalues

Upper-trianglular matrices

Eigenspaces and diagonal matrices

Operators on complex vector spaces

Generalized eigenvectors

Nilpotent operators

Operator decomposition

Jordan basis

Inner product spaces

Inner products

Norms induced from inner product

Norms and induced inner-products

Orthonormal bases

Operators on inner-product spaces

Adjoint and self-adjoint operators

Normal operators

The spectral theorems

Isometries

Singular value decomposition

Trace and determinant

公告