500min 慢通线代

免责声明：本文是博主复习线代期末考试所用，并不适合所有人阅读，也并不保证所有内容完全正确。

教材：Linear Algebra, forth edition by S. H. Friedberg, A. J. Insel, L. E. Spence

本文将包含：

1. 教材中大部分的定义；
2. 教材中博主认为重要的定理，不那么显然的定理会带上简略证明过程；
3. 博主的总结和浅薄的理解。

博主很懒，所以本文 latex 中不会出现 \mathbf 或 \mathsf 之类的字体，会略微降低阅读体验。

默认本文涉及到的所有变换均为线性变换。

关于有限维：涉及到 \(\dim\)、有序基底或者矩阵等的线性空间默认加上有限维的前提。对于其他限制了有限维的情况，会额外标注。

Chapter 1 - Vector Spaces

域 \(F\) 上的线性空间 \(V\)

两种运算：加法、数乘。对于 \(\forall x, y \in V\)，存在唯一的 \(x + y \in V\)；对于 \(\forall x \in V, a \in F\)，存在唯一的 \(ax \in V\)。

需要满足八条性质：加法交换律、加法结合律、存在零元、存在加法逆元、存在幺元、数乘结合律、向量加法对数乘分配律、标量加法对数乘的分配律。

这些定义可以导出一些常用的代数性质。

子空间

定义无需多言。

判定就是对于 \(\forall x, y \in W\)，检查是否有 \(cx + y \in W\)，其中 \(c \in F\)。

子空间的交也是子空间。

线性组合

定义无需多言。

\(\text{span}(S)\)：\(S\) 中元素的所有线性组合。显然其也是子空间。

若 \(\text{span}(S) = V\)，则称 \(S\) 生成 \(V\)。

线性相关 / 无关

定义无需多言。

基底

定义无需多言。

从一个生成 \(V\) 的有限集合 \(S\) 中构造基底：逐个添加并检查是否线性无关。

Replacement Theorem：设 \(|G| = n\)，\(V\) 是 \(G\) 生成的线性空间。令 \(L\) 为 \(V\) 的一个大小为 \(m\) 的线性无关子集，则存在 \(G\) 的大小为 \(n - m\) 的子集 \(H\)，使得 \(\text{span}(L \cup H) = V\)。可以对 \(m\) 归纳证明。

\(V\) 的任意基底大小相同，可以通过 Replacement Theorem 证明。这个相同的大小记为 \(\dim(V)\)。

\(V\) 中任意线性无关子集可以被扩展为一个基底。这是后面很多证明中常用的思路。

Chapter 2 - Linear Transformations and Matrices

线性变换

称 \(T : V \to W\) 是线性变换当且仅当对于 \(\forall x, y \in V\) 有 \(T(cx + y) = cT(x) + y\)。

定义 \(T\) 的值域 \(R(T) = \{T(x) \mid x \in V\}\)、零空间 \(N(T) = \{x \mid T(x) = 0\}\)。显然二者分别是 \(W\) 和 \(V\) 的子空间。

记 \(\text{rank}(T) = \dim(R(T)), \text{nullity}(T) = \dim(N(T))\)，则 \(\dim(V) = \text{rank}(T) + \text{nullity}(T)\)。可以通过找到 \(N(T)\) 的一组基底然后扩展的方法证明。

矩阵表示

把基底的元素标号，可以得到有序基底。

对于向量 \(x\) 和有序基底 \(\beta\)，将用 \(\beta\) 表示 \(x\) 的系数按顺序排成一列，可以得到 \(x\) 在 \(\beta\) 下的矩阵表示，记为 \([x]_{\beta}\)。

对于线性变换 \(T : V \to W\)，令 \(\beta, \gamma\) 分别为 \(V, W\) 的一组有序基底，定义 \([T]_{\beta}^{\gamma}\) 为一个 \(\dim(W) \times \dim(V)\) 的矩阵，其中第 \(j\) 列为 \([T(\beta_j)]_{\gamma}\)。当 \(\beta = \gamma\) 时右上角可以省略 \(\gamma\)。

记 \(L(V, W)\) 为所有 \(V \to W\) 的线性变换组成的集合，则 \(L(V, W)\) 也是一个线性空间，这意味着线性变换进行一些基础运算之后还是线性变换。

对于任意 \(x \in V\)，有 \([T(x)]_{\gamma} = [T]_{\beta}^{\gamma} [x]_{\beta}\)。

线性变换复合后也依然是线性变换，有 \([UT]_{\alpha}^{\gamma} = [U]_{\beta}^{\gamma}[T]_{\alpha}^{\beta}\)。

此后若干定义会同时对线性变换和矩阵定义，不过基本是一样的。因为矩阵需要依赖基底而线性变换不用，我们可以用线性变换来理解矩阵，并证明矩阵的一些性质。

逆

定义无需多言。

\(T\) 可逆当且仅当其是双射，即同时为单射和满射。

若 \(T : V \to W\) 可以，则称 \(V, W\) 同构。显然，在同一域 \(F\) 上的线性空间 \(V, W\) 同构当且仅当 \(\dim(V) = \dim(W)\)。

变换基底

令 \(I : V \to V\) 为单位变换，且令 \(\beta, \beta'\) 为两组有序基底，那么

\[[x]_{\beta'} = [I]_{\beta}^{\beta'} [x]_{\beta} \]

\[[T]_{\beta'} = [I]_{\beta}^{\beta'} [T]_{\beta} [I]_{\beta'}^{\beta} \]

由此我们可以定义矩阵的相似：称 \(n \times n\) 矩阵 \(A\) 与 \(B\) 相似，当且仅当存在可逆矩阵 \(Q\)，使得 \(B = Q^{-1}AQ\)。相似矩阵是同一线性变换在不同有序基底下的表示。

注意到 \(\text{tr}(AB) = \text{tr}(BA)\)，所以相似的矩阵有相同的迹。事实上，考察 \(A\) 的特征多项式，我们可以发现 \(\text{tr}(A)\) 实际上就是其对应线性变换的特征值之和，与选取的有序基底无关，所以上述性质自然成立。

对偶空间

对于 \(F\) 上的线性空间 \(V\)，定义 \(V\) 的对偶空间为 \(V^* = L(V, F)\)。

显然 \(\dim(V^*) = \dim(V)\)。令 \(n = \dim(V^*)\)，则 \(V^*\) 的一组基底为 \(\{f_1, f_2, \cdots, f_n\}\)，其中 \(f_i(\beta_j) = [i = j]\)。

对于 \(T : V \to W\)，定义 \(T^t : W^* \to V^*\)，满足 \(T^t(g) = gT\)。不难发现 \([T^t]_{\gamma*}^{\beta*} = ([T]_{\beta}^{\gamma})^t\)。

类似定义 \(V^{**}\)。定义 \(\hat x : V^* \to F\) 满足 \(\hat x(f) = f(x)\)，那么 \(\psi : V \to V^{**}\) 满足 \(\psi(x) = \hat x\) 是双射。

可以发现，任意一组 \(V\) 的有序基底都可以与 \(V^*\) 或 \(V^{**}\) 的一组有序基底对应。

Chapter 3 - Elementary Matrix Operations and Systems of Lienar Equations

LU 分解

一个前提条件是高消的过程中没有交换两行的操作。

目标是找到 \(A = LU\)，使得 \(L\) 是下三角矩阵，而 \(U\) 是上三角矩阵。在高消的过程中直接记录即可，因为保证了不会交换两行所以合法。

于是我们在解 \(Ax = b\) 时只需要分别解 \(Ly = b\) 和 \(Ux = y\)。

其他

一些和秩、逆或者行列式有关的证明或操作可以考虑分解为初等矩阵。

线性变换复合之后秩不会比任意一个大。

Chapter 4 - Determinants

定义无需多言。教材上的定义是递归式的；一种等价的定义是排列式的。

\(\det(AB) = \det(A)\det(B)\)，这个可以通过将 \(A\) 分解为初等矩阵后根据行列式的基本性质证明。一个简单的推论是：当 \(A\) 可逆时 \(\det(A^{-1}) = \det(A)^{-1}\)。

\(A, B\) 不是方阵的情况见我 之前的博客，但是大概率没什么用。

\(\det(A^t) = \det(A)\)，同样通过将 \(A\) 分解为初等矩阵后证明。

克拉默法则：设 \(A\) 为 \(n \times n\) 的可逆矩阵，则 \(Ax = b\) 有唯一解。记 \(M_k\) 为将 \(A\) 的第 \(k\) 列替换为 \(b\) 得到的矩阵，则

\[x_k = \frac{\det(M_k)}{\det(A)} \]

非方阵

证明：令 \(x\) 为唯一解。记 \(X_k\) 为将 \(I\) 的第 \(k\) 列替换为 \(X\) 得到的矩阵，则 \(AX_k = M_k\)。于是

\[x_k = \det(X_k) = \frac{\det(M_k)}{\det(A)} \]

Chapter 5 - Diagonalization

特征值、特征向量、特征空间

若 \(T : V \to V\)，则称 \(T\) 为 \(V\) 上的线性算子。

对于线性算子 \(T\) 和 \(x \in V, x \ne 0\)，若 \(T(x) = \lambda x\)，则称 \(\lambda\) 为 \(T\) 的特征值，且 \(x\) 为其对应的特征向量。

给定有序基底 \(\beta\)，令 \(A = [T]_{\beta}\)，则 \(\lambda\) 为 \(T\) 的特征值当且仅当存在 \(x \ne 0\) 使得 \(Ax = \lambda x\)，即 \(A - \lambda I\) 的零空间不为 \(\{0\}\)，即 \(\det(A - \lambda I) = 0\)。称 \(f(t) = \det(A - tI)\) 为 \(T\) 的特征多项式。

不同的特征值对应的特征向量线性无关。形式化地，设 \(T(x_i) = \lambda_i x_i(i = 1, 2, \cdots, k)\)，其中 \(\lambda_i\) 两两不同，则 \(\{x_1, x_2, \cdots, x_k\}\) 线性无关。证明可以考虑对 \(k\) 归纳，假设 \(\sum a_i x_i = 0\)，同时对两侧施加 \(T - \lambda_k I\) 算子即可导出矛盾。

在 \(\mathbb C\) 中，\(f(t) = 0\) 有 \(n\) 个解。对于任意解 \(\lambda\)，称其在 \(n\) 个解中出现的次数为其的代数重数。令 \(\lambda\) 的特征空间为 \(E_{\lambda}\) 为 \(N(T - \lambda I)\)，称 \(\dim(E_{\lambda})\) 为其的几何重数。

几何重数介于 \(1\) 和代数重数之间。证明：考虑取 \(E_{\lambda}\) 的一个有序基底，并扩展为一个 \(V\) 的基底，求特征多项式可以发现 \((\lambda - t)^{\dim(E_{\lambda})}\) 是 \(f(t)\) 的一个因式。

\(T\) 可对角化当且仅当其所有特征值的几何重数等于代数重数。

如果在 \(\mathbb R\) 上讨论这些问题，还需要考虑 \(f(t) = 0\) 的解不都是实数的情况。

若 \(T\) 可对角化，则 \(V\) 为 \(T\) 的所有特征空间的直和。

\(T\) - 不变子空间

定义无需多言。

设 \(W\) 是 \(V\) 的 \(T\) - 不变子空间，\(T_W\) 是把定义域缩减到 \(W\) 后的线性算子，则 \(T_W\) 的特征多项式 \(f_W\) 是 \(T\) 的特征多项式的因式。

证明：方法和证明几何重数介于 \(1\) 和代数重数之间的方法类似。取 \(W\) 的一个有序基底，并将其扩展为 \(V\) 的一个有序基底，则

\[ [T]_{\beta} = \begin{pmatrix} B_1 & B_2 \\ O & B_3 \end{pmatrix} \]

其中 \(B_1\) 对应 \(W\) 的有序基底部分。则 \(\det(A - tI) = \det(B_1 - tI)\det(B_3 - tI)\)。

一个类似的结论：若 \(V = W_1 \bigoplus W_2 \cdots \bigoplus W_k\)，其中 \(W_i\) 是 \(T\) - 不变子空间，记 \(f_i\) 为 \(T_{W_i}\) 的特征多项式，则 \(f = \prod f_i\)。对 \(k\) 归纳证明即可。

对于 \(x\)，称 \(\text{span}(\{x, T(x), T^2(x), \cdots\})\) 为 \(x\) 生成的 \(T\) - 循环子空间。记其为 \(W\)，若 \(W\) 为有限维，记 \(k = \dim(W)\)，则 \(\{x, T(x), \cdots, T^{k-1}(x)\}\) 是 \(W\) 的一个基底。设 \(\sum_{i = 0} ^ {k - 1} a_i T^i(x) + T^k(x) = 0\)，则 \(T_W\) 的特征多项式是 \((-1)^k(\sum_{i = 0} ^ {k - 1} a_i t^i + t^k)\)。这个考察一下 \([T]_{\beta}\) 然后对 \(k\) 归纳一下即可。

Cayley–Hamilton Theorem：\(f(T) = T_0\)，其中 \(T_0(x) = 0\)。证明就是顺水推舟：对于 \(\forall x \in V\)，考虑 \(x\) 生成的 \(T\) - 循环子空间 \(W\)，则根据其特征多项式的形式能直接得出 \(f_W(T_W)(x) = 0\)；又因为其是 \(V\) 的子空间，所以 \(f_W\) 是 \(f\) 的因式，故 \(f(T)(x) = 0\)。

Chapter 6 - Inner Product Spaces

大的要来了。

内积

域 \(F\) 上的线性空间 \(V\) 上的内积 \(\langle x, y \rangle\) 是满足以下条件的二元函数：

1. \(\langle x + z, y \rangle = \langle x, y \rangle + \langle z, y \rangle\)；
2. \(\langle cx, y \rangle = c\langle x, y \rangle\)；
3. \(\langle x, y \rangle = \overline{\langle y, x \rangle}\)；
4. 若 \(x \ne 0\)，则 \(\langle x, x \rangle > 0\)。

设 \(x = (a_1, a_2, \cdots, a_n)^t, y = (b_1, b_2, \cdots, b_n)^t\)。定义 \(\langle x, y \rangle = \sum_{i = 1} ^ n a_i\overline{b_i}\) 为 \(F^n\) 上的标准内积。

对于 \(m \times n\) 的矩阵 \(A\)，定义 \(A^*\) 为一个 \(n \times m\) 的矩阵，满足 \((A^*)_{ij} = \overline{A_{ji}}\)。

带有特定内积运算的线性空间 \(V\) 称为内积空间。当 \(F = \mathbb C\) 时，\(V\) 称为复内积空间；当 \(F = \mathbb R\) 时，\(V\) 称为实内积空间。

若对于 \(\forall x\) 有 \(\langle x, y \rangle = \langle x, z \rangle\)，则 \(y = z\)。

定义向量 \(x\) 的模长为 \(\sqrt{\langle x, x \rangle}\)。

柯西不等式：\(|\langle x, y \rangle| \le ||x|| \cdot ||y||\)。

证明：若 \(y = 0\) 则结论显然成立。否则考虑

\[ \begin{aligned} 0 & \le ||x - cy||^2 = \langle x - cy, x - cy \rangle \\ & = \langle x, x \rangle - \overline c \langle x, y \rangle - c \langle y, x \rangle + c^2 \langle y, y \rangle \end{aligned} \]

令 \(c = \frac{\langle x, y \rangle}{\langle y, y \rangle}\)，则不等式变为

\[0 \le \langle x, x \rangle - \frac{|\langle x, y \rangle|^2}{\langle y, y \rangle} = ||x||^2 - \frac{|\langle x, y \rangle|^2}{||y||^2} \]

即证。

三角不等式：\(||x + y|| \le |x| + |y|\)。可以拆开左侧然后通过柯西不等式证明。

正交

称 \(x, y\) 正交，当且仅当 \(\langle x, y \rangle = 0\)。

称 \(x\) 是单位向量，当且仅当 \(||x|| = 1\)。

称 \(V\) 的子集 \(S\) 是标准正交的，当且仅当其包含两两正交的单位向量。

定理：设 \(S = \{v_1, v_2, \cdots, v_k\}\) 是 \(V\) 的一个正交子集，\(x \in \text{span}(S)\)。则

\[x = \sum_i \frac{{\langle x, v_i \rangle}}{||v_i||^2} v_i \]

证明：令 \(x = \sum_i a_i v_i\)。则

\[\langle x, v_i \rangle = \langle \sum_i a_i v_i, v_i \rangle = \langle a_i v_i, v_i \rangle = a_i ||v_i||^2 \]

由此也可以得出，若 \(0 \not\in S\)，则 \(S\) 是线性无关的。

证明：若 \(\sum_i a_i v_i = 0\)，则对于 \(\forall p \in [1, k]\)，有 \(\langle \sum_i a_i v_i, v_p \rangle = a_p ||v_p||^2 = 0\)，故 \(a_p = 0\)。

定理：设 \(S = \{w_1, w_2, \cdots, w_n\}\) 是 \(V\) 的一个线性无关子集，我们可以通过如下方式得到正交子集 \(S' = \{v_1, v_2, \cdots, v_n\}\)，使得 \(\text{span}(S') = \text{span}(S)\)：对于 \(k = 1, 2, \cdots, n\)，令

\[v_k = w_k - \sum_{i = 1} ^ {k - 1} \frac{\langle w_k, v_i \rangle}{||v_i||^2} v_i \]

证明可以考虑直接对 \(k\) 归纳证明。

上面的过程被称为 Gram–Schmidt 过程。

于是，对于任意有限维内积空间 \(V\)，我们总能找到一组标准正交基 \(\beta = \{v_1, v_2, \cdots, v_n\}\)，则对于 \(\forall x \in V\)，有

\[x = \sum_i \langle x, v_i \rangle v_i \]

对于任意线性算子 \(T\)，我们也能直接得到

\[[T]_{\beta_{ij}} = \langle T(v_j), v_i \rangle \]

对于 \(V\) 的标准正交子集 \(\beta = \{v_1, v_2, \cdots\}\) 和 \(x \in V\)，称 \(v_i\) 为 \(\langle x, v_i \rangle\) 为 \(x\) 关于 \(\beta\) 的第 \(i\) 个傅里叶系数。

对于 \(V\) 的非空子集 \(S\)，令 \(S^{\perp} = \{x \in V : \forall y \in S, \langle x, y \rangle = 0\}\)。显然 \(S^{\perp}\) 是 \(V\) 的子空间。

定理：令 \(W\) 是 \(V\) 的一个 有限维 子空间，\(y \in V\)，则存在唯一的 \(u \in W\) 和 \(z \in W^{\perp}\)，满足 \(y = u + z\)。令 \(\beta = \{v_1, v_2, \cdots, v_k\}\) 为 \(W\) 的一组标准正交基，则

\[u = \sum_i \langle y, v_i \rangle v_i \]

证明：\(u \in W\) 和 \(z = y - u \in W^{\perp}\) 很显然，直接用内积证明即可。注意到 \(W \cap W^{\perp} = \{0\}\)，于是假设 \(y = u + z = u' + z'\)，则 \(u - u' \in W, z' - z \in W^{\perp}\)，而 \(u - u' = z' - z\)，故 \(u = u', z = z'\)。

从几何上理解，\(u\) 是 \(W\) 中距离 \(y\) 最近的点。可以通过对于 \(\forall x \in W\)，有 \(||y - x||^2 = ||(u - x) + z||^2 = ||u - x||^2 + ||z||^2 \ge ||z||^2\) 来证明。

\(u\) 被称为 \(y\) 在 \(W\) 上的正交投影。

对于内积空间 \(V\) 和其 有限维 子空间 \(W\)，有 \(V = W \bigoplus W^{\perp}\)。

伴随

定理：令 \(V\) 为 有限维 内积空间。任意 \(V \to F\) 的线性变换可以看作求与特殊向量的内积。形式化地，令 \(g : V \to F\)，则存在 \(y \in V\)，使得对于 \(\forall y \in V\) 有 \(g(x) = \langle x, y \rangle\)。

证明：令 \(\beta = \{v_1, v_2, \cdots, v_n\}\) 为 \(V\) 的一组标准正交基。直接令 \(y = \sum_i \overline{g(v_i)} v_i\) 即可，正确性应该是显然的。

同时，显然这样的 \(y\) 是唯一的。

定理：令 \(V\) 为 有限维 内积空间，\(T\) 为 \(V\) 上的线性算子。存在唯一的线性算子 \(T^*\)，使得对于 \(\forall x, y \in V\) 有 \(\langle T(x), y \rangle = \langle x, T^*(y) \rangle\)。

证明：首先考虑固定 \(y\)，令 \(g(x) = \langle T(x), y \rangle\)。根据上一个定理，存在 \(y' \in V\) 使得对于 \(\forall x \in V\) 有 \(g(x) = \langle x, y' \rangle\)，令 \(T^*(x) = y'\) 即可。

接下来我们需要证明 \(T^*\) 是线性的。因为对 \(\forall x\) 有

\[ \begin{aligned} \langle x, T^*(cy_1 + y_2) \rangle & = \langle T(x), cy_1 + y_2 \rangle \\ & = \overline c\langle T(x), y_1 \rangle + \langle T(x), y_2 \rangle \\ & = \overline c\langle x, T^*(y_1) \rangle + \langle x, T^*(y_2) \rangle \\ & = \langle x, cT^*(y_1) + T^*(y_2) \rangle \end{aligned} \]

所以 \(T^*(cy_1 + y_2) = cT^*(y_1) + T^*(y_2)\)，因此 \(T^*\) 是线性的。因为对于每个 \(y\)，\(T^*(y)\) 有唯一的取值，所以 \(T^*\) 是唯一的。

\(T^*\) 称为 \(T\) 的伴随算子。

定理：令 \(V\) 为 有限维 内积空间，\(T\) 为 \(V\) 上的线性算子，\(\beta = \{v_1, v_2, \cdots, v_n\}\) 为 \(V\) 的一组标准正交基。则 \([T^*]_{\beta} = [T]_{\beta}^*\)。

证明：\([T^*]_{\beta_{ij}} = \langle T^*(v_j), v_i \rangle = \overline{\langle v_i, T^*(v_j) \rangle} = \overline{\langle T(v_i), v_j \rangle} = \overline{[T]_{\beta_{ji}}}\)。

由此可见，\(T^{**} = T\)。

最小二乘法

平面上有 \(n\) 个点 \((t_1, y_1), (t_2, y_2), \cdots, (t_n, y_n)\)，其中 \(t_i\) 两两不同。需要用一条直线 \(y = ct + d\) 拟合这 \(n\) 个点，使得误差最小。误差定义为 \(\sum_i (y_i - c t_i - d)^2\)。

做法：令

\[ A = \begin{pmatrix} t_1 & 1 \\ t_2 & 1 \\ \vdots & \vdots \\ t_n & 1 \end{pmatrix}, x = \begin{pmatrix} c \\ d \end{pmatrix}, y = \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{pmatrix} \]

我们实际上要最小化 \(||y - Ax||^2\)。我们不妨考虑 \(A\) 是任意 \(m \times n\) 矩阵的情况，此时我们在 \(R(A)\) 中找离 \(y\) 最近的点，所以最优的 \(x\) 满足 \(y - Ax \perp R(A)\)。也就是 \(A^*(y - Ax) = 0\)，可以理解为 \(x\) 与 \(A\) 的每一列与 \(y - Ax\) 的内积为 \(0\)。所以最优的 \(x\) 满足 \(A^*Ax = A^*y\)。

注意到对于 \(\forall x \ne 0\)，有 \(A^*Ax = 0 \Leftrightarrow x^*A^*Ax = 0 \Leftrightarrow \langle Ax, Ax \rangle = 0 \Leftrightarrow Ax = 0\)，显然 \(N(A^*A) = N(A)\)，所以当 \(\text{rank}(A) = n\) 时，\(x = (A^*A)^{-1} A^* y\)。

书上证明 \(\text{rank}(A^*A) = \text{rank}(A)\) 的表述方式是首先注意到 \(\langle Ax, y \rangle _m = \langle x, A^*y \rangle _n\)，然后说明 \(\langle A^*Ax, x \rangle _n = \langle Ax, Ax \rangle _m\)，和上面方法的区别只是表述方式的不同。

线性方程组的最小解

同理，设一个特解为 \(u\)，则解空间为 \(u + N(A)\)。最优解需要与 \(N(A)\) 垂直，因为 \(N(A)^{\perp} = R(A^*)\) 所以最优解为 \(R(A^*)\) 中的解。更具体地，\(AA^*x = b\) 有解 \(x = x'\)，最优解即 \(x = A^* x'\)。显然解存在且唯一。

正规算子、自轭算子

定理：若线性算子 \(T\) 有特征值 \(\lambda\)，则 \(T^*\) 有特征值 \(\overline{\lambda}\)。

证明：若存在 \(x \ne 0\) 使得 \(T(x) = \lambda x\)，则对于 \(\forall y \in V\)，有

\[0 = \langle 0, y \rangle = \langle (T - \lambda I)(x), y \rangle = \langle x, (T^* - \overline {\lambda} I)(y) \rangle \]

由此可见，\(x \perp R(T^* - \overline {\lambda} I)\)，即 \(N(T^* - \overline {\lambda} I) \ne \{0\}\)，故 \(\overline {\lambda}\) 是 \(T^*\) 的特征值。

舒尔定理：令 \(V\) 为 有限维 内积空间，\(T\) 为 \(V\) 上的线性算子，若 \(T\) 的特征多项式可分解，则存在标准正交基 \(\beta\) 使得 \([T]_{\beta}\) 是上三角矩阵。

证明：取一组使得 \([T]_{\beta}\) 是对角矩阵的基底，然后对其执行 Gram–Schmidt 过程即可。

若 \(TT^* = T^*T\)，则称 \(T\) 为正规算子。

下面介绍一些正规算子的基本性质：

定理：若 \(T\) 是正规算子，则对于 \(\forall x\) 有 \(||T(x)|| = ||T^*(x)||\)。

证明：

\[\langle T(x), T(x) \rangle = \langle x, TT^*(x) \rangle = \langle x, T^*T(x) \rangle = \langle T^*(x), T^*(x) \rangle \]

定理：若 \(T\) 是正规算子，则对于 \(\forall c \in F\)，\(T - cI\) 也是正规算子。

证明：直接拆开就行。

定理：若 \(T\) 是正规算子，\(T(x) = \lambda x\)，则 \(T^*(x) = \overline{\lambda} x\)。

证明：令 \(U = T - \lambda I\)，由上一个定理立得 \(U\) 正规，于是结论显然。

定理：若 \(T\) 是正规算子，则 \(T\) 的任意两个不同的特征空间垂直。

一个推论是，\(N(T) = N(T^*)\)，当 \(V\) 为 有限维 内积空间时 \(R(T) = R(T^*)\)。

证明：设 \(T(x_1) = \lambda_1 x_1, T(x_2) = \lambda_2 x_2(\lambda_1 \ne \lambda_2)\)，则

\[\lambda_1 \langle x_1, x_2 \rangle = \langle T(x_1), x_2 \rangle = \langle x_1, T^*(x_2) \rangle = \lambda_2 \langle x_1, x_2 \rangle \]

定理：\(\mathbb C\) 上的内积空间 \(V\) 上的线性算子 \(T\) 正规，当且仅当存在 \(V\) 的标准正交基 \(\beta = \{v_1, v_2, \cdots, v_n\}\)，使得 \(v_i\) 是 \(T\) 的特征向量。

证明：假设 \(T\) 正规，则根据舒尔定理，存在一组标准正交基 \(\beta = \{v_1, v_2, \cdots, v_n\}\)，使得 \(A = [T]_{\beta}\) 是上三角矩阵。接下来归纳证明 \(A\) 是对角矩阵，核心公式为

\[A_{jk} = \langle T(v_k), v_j \rangle = \langle v_k, T^*(v_j) \rangle = \langle v_k, \overline{\lambda_j} v_j \rangle = 0 \]

其中 \(1 \le j < k \le n\)，利用了 \(T\) 和 \(T^*\) 共享特征向量的性质。

若存在 \(V\) 的标准正交基 \(\beta = \{v_1, v_2, \cdots, v_n\}\)，使得 \(v_i\) 是 \(T\) 的特征向量，则 \(T\) 正规是显然的。

若 \(T = T^*\)，则称 \(T\) 为自轭算子。

若 \(T\) 自轭，显然 \(T\) 正规，因此 \(T\) 和 \(T^*\) 共享特征向量。因此对于 \(T\) 的任意特征值 \(\lambda\) 有

\[\lambda x = T(x) = T^*(x) = \overline{\lambda} x \]

因此 \(T\) 的所有特征值为实数。

定理：\(\mathbb R\) 上的内积空间 \(V\) 上的线性算子 \(T\) 自轭，当且仅当存在 \(V\) 的标准正交基 \(\beta = \{v_1, v_2, \cdots, v_n\}\)，使得 \(v_i\) 是 \(T\) 的特征向量。

证明：和上一个定理的证明没什么区别。只在 \(\mathbb R\) 上成立的关键条件是是 \(D^* = D\)。

可以看出，对于 \(R\) 上的内积空间 \(V\)，正规和自轭等价。

酉算子

若对 \(\forall x \in V\) 有 \(||T(x)|| = ||x||\)，则称 \(T\) 为酉算子（\(F = \mathbb C\)）或正交算子 \(F = \mathbb R\)。

以下四个命题等价：

1. \(TT^* = T^*T = I\)；
2. 对 \(\forall x, y \in V\)，有 \(\langle T(x), T(y) \rangle = \langle x, y \rangle\)；
3. 令 \(\beta = \{v_1, v_2, \cdots, v_n\}\) 为 \(V\) 的一组标准正交基，则 \(T(\beta)\) 也是一组标准正交基；
4. 对 \(\forall x \in V\) 有 \(||T(x)|| = ||x||\)。

\(1 \to 2\) 证明：

对 \(\forall x, y \in V\)，有

\[\langle T(x), T(y) \rangle = \langle x, T^*T(y) \rangle = \langle x, y \rangle \]

\(2 \to 3\) 证明：

对 \(\forall 1 \le i, j \le n\)，有 \(\langle T(v_i), T(v_j) \rangle = \langle v_i, v_j \rangle = [i = j]\)。显然 \(T(\beta)\) 也是一组标准正交基。

\(3 \to 4\) 是显然的，把 \(T(x)\) 拆开即可。

\(4 \to 1\) 证明：

对于 \(\forall x\)，有 \(\langle x, x \rangle = \langle T(x), T(x) \rangle = \langle x, T^*T(x) \rangle\)，故 \(\langle x, (T^*T - I)(x) \rangle = 0\)。故 \(T^*T = TT^* = I\)。

酉算子和自轭算子的交是所有特征值为 \(\pm 1\) 的正规算子。

酉算子的 \(T\) - 不变子空间的正交空间仍然是 \(T\) - 不变子空间。反例是构造一条首尾均无限的链并考察其前一半。

称 \(A\) 与 \(B\) 酉等价，当且仅当存在酉矩阵 \(Q\)，使得 \(B = Q^*AQ\)。

因为 \(Q^* = Q^{-1}\)，所以酉等价依然可以看作是用不同基底刻画同一线性变换，不过对基底的关系加上了酉矩阵的限制。因此 \(\det(A) = \det(B)\)，以及对于 \(\forall x\)，都有 \(||Ax|| = ||Bx||\)。

显然，\(T\) 正规当且仅当其与一个对角矩阵酉等价。

刚体运动（真的会考吗？）

copied from 小子要 blog。

称 \(f\) 是刚体运动当且仅当对于任意 \(x, y\) 有 \(||x - y|| = ||f(x) - f(y)||\)。

对于实内积空间 \(V\) 上的刚体运动 \(f : V \to V\)，\(V\) 上存在唯一的正交算子 \(T\) 以及唯一的平移 \(g\) 满足 \(f = gT\)。

在 \(\mathbb R^2\) 上，正交算子要么是 \(\det = 1\) 的旋转，要么是 \(\det = -1\) 的反射（反射轴过原点）。

\(\mathbb R^2\) 上旋转 \(\theta\) 度：\(\begin{pmatrix} \cos \theta & -\sin \theta \\ \sin \theta & cos \theta \\ \end{pmatrix}\)；沿倾斜角为 \(\theta\) 的直线反射：\(\begin{pmatrix} \cos 2 \theta & \sin 2 \theta \\ \sin 2 \theta & -cos 2 \theta \\ \end{pmatrix}\)。

正交投影与谱定理

对于内积空间 \(V\)，令 \(V = W_1 \bigoplus W_2\)。则对于 \(\forall x\)，存在唯一的 \(x_1 \in W_1\) 和 \(x_2 \in W_2\)，使得 \(x = x_1 + x_2\)。此时称 \(T(x) = x_1\) 为 \(W_1\) 沿 \(W_2\) 的投影。

对于任意投影 \(T\)，有 \(R(T) = W_1, N(T) = W_2\)，所以 \(V = R(T) \bigoplus N(T)\)。

如果 \(N(T) = R(T)^{\perp}\) 且 \(R(T) = N(T)^{\perp}\)，则称 \(T\) 为正交投影。在 \(V\) 为 有限维 内积空间时，两个条件是等价的。

定理：\(T\) 是正交投影当且仅当 \(T^2 = T = T^*\)。

证明：假设 \(T\) 是正交投影。因为 \(T\) 是投影，显然 \(T^2 = T\)。对于 \(\forall x, y \in V\)，有

\[ \begin{aligned} \langle T(x), y \rangle & = \langle x_1, y_1 + y_2 \rangle \\ & = \langle x_1, y_1 \rangle \\ & = \langle x_1 + x_2, y_1 \rangle \\ & = \langle x, T(y) \rangle \end{aligned} \]

故 \(T = T^*\)。

现在假设 \(T^2 = T = T^*\)。首先由 \(T^2 = T\) 得到 \(R(T) \cap N(T) = \{0\}\)，再由 \(x = T(x) + (x - T(x))\) 得到 \(R(T) + N(T) = V\)，于是 \(R(T) \bigoplus N(T) = V\)，\(T\) 是投影。

接下来只需要证明 \(T\) 是正交投影，即证 \(N(T) = R(T)^{\perp}\) 且 \(R(T) = N(T)^{\perp}\)。这个过程不难想但是有点难写，在此略过。

谱定理：设 \(T\) 的互不相同的特征值为 \(\lambda_1, \lambda_2, \cdots, \lambda_k\)，对应的特征空间分别为 \(W_1, W_2, \cdots, W_k\)，设 \(V\) 到 \(W_i\) 的投影为 \(T_i\)。若 \(T\) 是正规的，那么以下命题成立：

1. \(V = \bigoplus_{i = 1} ^ k W_i\)；
2. \(W_i^{\perp} = \bigoplus_{j \ne i} W_j\)
3. \(T_i T_j = [i = j] T_i\)；
4. \(I = \sum_{i = 1} ^ k T_i\)；
5. \(T = \sum_{i = 1} ^ k \lambda_i T_i\)。

结合之前的知识，这听起来有点像废话，所以我们略过证明。

定理：\(F = \mathbb C\) 时，\(T\) 正规当且仅当存在多项式 \(g\)，使得 \(T^* = g(T)\)。

证明：若 \(T\) 正规，令 \(T = \sum_i \lambda_i T_i\)，则 \(T^* = \sum_i \overline{\lambda_i} T_i\)。我们构造多项式 \(g\)，使得 \(g(\lambda_i) = \overline{\lambda_i}\) 即可。

若存在 \(g\)，因为 \(Tg(T) = g(T)T\)，显然 \(T\) 正规。

重点是利用正交投影的性质说明 \(g(T) = \sum_i g(\lambda_i) T_i\)。

定理：\(F = \mathbb C\) 时，\(T\) 是酉算子当且仅当 \(T\) 正规，且 \(T\) 的所有特征值模长为 \(1\)。

证明：不难发现 \(TT^* = \sum_i |\lambda_i|^2 T_i\)。

定理：\(F = \mathbb C\) 时，\(T\) 自轭当且仅当 \(T\) 正规，且 \(T\) 的所有特征值都是实的。

证明：显然。

定理：每个 \(T_i\) 可以表示为关于 \(T\) 的多项式。

证明：构造多项式 \(g\)，使得 \(g(\lambda_j) = [i = j]\) 即可。

正定 / 半正定算子

copied from 小子要 blog，其实是作业题。

称 \(T\) 正定 / 半正定，当且仅当其自轭，且对于 \(\forall x\) 有 \(\langle T(x), x \rangle > 0 / \ge 0\)。

一些性质：

\(T\) 正定 / 半正定当且仅当其所有特征值 $ \rangle 0 / \ge 0$。

\(T\) 半正定当且仅当存在方阵 \(B\) 使得 \([T] = B^*B\)。

证明：若 \(T\) 半正定，令 \([T] = Q^*DQ\)，将 \(D\) 分解为 \(\sqrt D \times \sqrt D\)，加入两侧即可。

若 \([T] = B^*B\)，显然 \(T\) 半正定。

若半正定算子 \(T, U\) 满足 \(T^2 = U^2\)，则 \(T = U\)。

证明：设 \(U^2(x) = T^2(x) = \lambda^2 (x)\)。\(\lambda = 0\) 的情况是平凡的。对于 \(\lambda > 0\) 的情况，\((U + \lambda I)(U - \lambda I)(x) = 0\)，只有 \(U(x) = \lambda x\)。同理 \(T(x) = \lambda x\)，故 \(U = T\)。

若 \(U, T\) 正定且可交换，则 \(UT\) 正定。

证明：找到一组由 \(U\) 和 \(T\) 共同的的特征向量组成的标准正交基之后容易说明。

酉等价的算子正定性相同。

谱定理带来的一些不等式

令 \(T = \sum_i \lambda_i T_i, x = \sum_i x_i\)，其中 \(x_i \in E_i\)，则 \(\langle x, T(x) \rangle = \sum_i \langle x_i, \lambda_i x_i \rangle = \sum_i \lambda_i ||x_i||^2\)。而 \(||x||^2 = \sum ||x_i||^2\)，所以我们能够得到 \(\frac{\langle x, T(x) \rangle}{||x||}\) 的一个范围，即 \([\min \lambda, \max \lambda]\)。

若 \(T, U\) 自轭，\(T\) 的特征值在 \([\min \lambda, \max \lambda]\) 内、\(U\) 的特征值在 \([\min \mu, \max \mu]\) 内，则我们可以得到：\(T + U\) 的特征值在 \([\min \lambda + \min \mu, \max \lambda + \max \mu]\) 内，原因显然。

若 \(T^*T\) 的特征值在 \([\min \lambda, \max \lambda]\) 内，则 \(T\) 的特征值绝对值在 \([\sqrt {\min \lambda}, \sqrt {\max \lambda}]\) 内，原因是令 \(A = [T]\)，则 \(\langle x, T(x) \rangle = x^* A^* A x = ||T(x)||^2\)。

奇异值分解

奇异值分解用于对非方阵进行对角化。它把任意 \(m \times n\) 矩阵 \(A\) 分解为 \(U\Sigma V^*\)，其中 \(U, V\) 是酉矩阵、\(\Sigma\) 是 \(m \times n\) 对角矩阵，且对角元素单调不增。

做法：注意到 \(A^*A = V \Sigma^2 V^*\)，而 \(A^*A\) 是半正定的，考虑用标准正交基底将其对角化，即令 \(A^*A = Q^*DQ\)，则 \(V = Q, \Sigma = \sqrt D\)；可以类似通过 \(AA^*\) 求 \(U\)，也可以根据 \(U \Sigma = AV\)，考虑第 \(j\) 列得到 \(\sigma_j u_j = A v_j\)。

半正定方阵的奇异值与特征值相同。

正定方阵的奇异值分解中 \(U = V\)。

极分解

对于任意方阵 \(A\)，存在唯一的分解 \(A = WP\)，其中 \(W\) 是酉矩阵、\(P\) 是半正定矩阵。

构造：\(A = U \Sigma V^* = (UV^*) (V \Sigma V^*)\)。

唯一性：\(A = WP = ZQ \Rightarrow Z^*W = QP^{-1}\)。于是 \(QP^{-1}\) 是酉矩阵，\(P = Q\)。

双线性型与二次型

对于 \(H : V \times V \to F\)，若 \(H(x, y)\) 在 \(x, y\) 上都线性，则称 \(H\) 是双线性型。

对于有序基底 \(\beta\)，\(H\) 的矩阵表示为 \(\psi_{\beta}(H)\) 满足 \(\psi_{\beta}(H)_{ij} = H(v_i, v_j)\)。对于 \(\forall x, y\)，有 \(H(x, y) = [x]_{\beta}^t \psi_{\beta}(H) [y]_{\beta}\)。

所以对于有序基底 \(\beta\) 和 \(\gamma\)，令 \(Q = [I]_{\gamma}^{\beta}\)，则 \(\psi_{\gamma}(H) = Q^t \psi_{\beta}(H) Q\)。

对于矩阵 \(A, B\)，若存在矩阵 \(Q\)，使得 \(B = Q^tAQ\)，则称 \(A, B\) 相合。

相合是用不同的有序基底刻画同一个双线性型。

若 \(H\) 满足对于 \(\forall x, y \in V\) 有 \(H(x, y) = H(y, x)\)，则称 \(H\) 是对称的。

显然，\(H\) 对称当且仅当 \(\psi_{\beta}(H)\) 对称。

若 \(H\) 满足存在一个有序基底 \(\beta\)，使得 \(\psi_{\beta}(H)\) 是对角矩阵，则称 \(H\) 是可对角化的。

定理：在特征不为 \(2\) 的域中，任意对称的 \(H\) 都可对角化。

证明：可以使用类似于高斯消元的方法对角化。但是不能进行交换两行的操作，主元为 \(0\) 时需要从后面加过来。

定理：在特征不为 \(2\) 的域中，任意对称的 \(H\) 都可以正交对角化

证明：先对角化再正交对角化即可。

对于函数 \(K : V \to F\)，若存在双线性型 \(H\) 满足 \(K(x) = H(x, x)\)，则称 \(K\) 为二次型。

在特征不为 \(2\) 的域中，\(H(x, y) = \frac 1 2(K(x + y) - K(x) - K(y))\)。

定理：存在标准正交基 \(\beta = \{v_1, v_2, \cdots, v_n\}\)，使得对于任意 \(x = \sum_i a_i v_i\)，有 \(K(x) = \sum_i \lambda_i a_i^2\)。

证明：将 \(H\) 正交对角化即可。

一个用处是说明解集形如椭球。

Chapter 7 - Canonical Forms

若基底 \(\beta\) 使得

\[ [T]_{\beta} = \begin{pmatrix} A_1 & & & \\ & A_2 & & \\ & & \ddots & \\ & & & A_k \end{pmatrix} \]

其中 \(A_i\) 形如

\[ \begin{pmatrix} \lambda & 1 & & & & \\ & \lambda & 1 & & & \\ & & \lambda & & & \\ & & & \ddots & & \\ & & & & \lambda & 1 \\ & & & & & \lambda \\ \end{pmatrix} \]

则 \([T]_{\beta}\) 被称为 \(T\) 的 Jordan 标准形，\(\beta\) 被称为 Jordan 标准基，\(A_i\) 被称为 Jordan 块。

对于任意 \(\lambda\)，若 \(x \ne 0\) 满足存在正整数 \(p\) 使得 \((T - \lambda I)^p(x)\)，则称 \(x\) 为 \(T\) 关于 \(\lambda\) 的广义特征向量。

记 \(K_{\lambda}\) 表示 \(T\) 关于 \(\lambda\) 的所有广义特征向量的集合。显然 \(K_{\lambda}\) 也是线性空间，称为广义特征空间。

因为 \((T - \lambda I)^p\) 是关于 \(T\) 的多项式，所以其和 \(T\) 是可交换的。因此 \((T - \lambda I)^p T(x) = T((T - \lambda I) ^ p(x))\)，所以 \(K_{\lambda}\) 是 \(T\) - 不变的。

定理：对于 \(\mu \ne \lambda\)，\(T - \mu I\) 在 \(K_{\lambda}\) 上的限制为单射。

证明：令 \(x \ne 0 \in K_{\lambda}\) 使得 \((T - \mu I)(x) = 0\)。令 \(p\) 为最小的正整数使得 \((T - \lambda I)^p(x) = 0\)。令 \(y = (T - \lambda I) ^ {p - 1} (x)\)，则 \(y \ne 0 \in E_{\lambda}\)。同时因为 \((T - \mu I)(y) = (T - \mu I)(T - \lambda I) ^ {p - 1} (x) = (T - \lambda I) ^ {p - 1} (T - \mu I)(x) = 0\)，所以 \(y \in E_{\mu}\)。故 \(y \in E_{\lambda} \cap E_{\mu} = \{0\}\)，矛盾。所以为单射。

定理：对于 \(\mu \ne \lambda\)，\(E_{\mu} \cap E_{\lambda} = \{0\}\)。

证明：因为 \(T - \mu I\) 在 \(K_{\lambda}\) 上的限制为单射，所以对于 \(\forall x \ne 0\) 和正整数 \(p\)，有 \((T - \mu I)^p \ne 0\)，即证。

定理：设 \(T\) 的特征值 \(\lambda\) 的代数重数为 \(m\)，则

1. \(\dim(K_{\lambda}) \le m\)；
2. \(K_{\lambda} = N((T - \lambda I)^m)\)。

证明：

1. 显然 \(T\) 在 \(K_{\lambda}\) 上的限制的所有特征值都是 \(\lambda\)，而 \(K_{\lambda}\) 是 \(V\) 的子空间，显然 \(\dim(K_{\lambda}) \le m\)。

2. 令 \(d = \dim(K_{\lambda})\)，则 \(T\) 在 \(K_{\lambda}\) 上的限制的特征多项式为 \(f(t) = (-1) ^ d (t - \lambda) ^ d\)。将 \(T\) 代入多项式，我们得到 \(f(T) = 0\)，即 \((T - \lambda I) ^ d = T_0\)。而 \(d \le m\)，显然 \(K_{\lambda} = N((T - \lambda I)^m)\)。

定理：\(V = \sum_{i = 1} ^ k K_{\lambda_i}\)。

证明：对 \(k\) 归纳。当 \(k = 1\) 时，\(f(t) = (-1)^m (t - \lambda_1)^m\)，故 \((T - \lambda I)^m = T_0\)，所以 \(K_{\lambda_1} = V\)。

考虑 \(k > 1\) 的情况，怎么这么长，不证了。

于是我们可以得到：\(V = \bigoplus_{i = 1} ^ k K_{\lambda_i}\)，并且每个 \(\dim(K_{\lambda_i})\) 都等于其代数重数。于是 \(V\) 必然可以分解为 Jordan 标准形。

好像 xy 上课讲了很高级的做法，有没有老哥教教啊？？？？

Jordan 标准基的计算：

1. 对于每个 \(K_{\lambda}\)：求出 \(E_{\lambda}\) 的基底，然后尝试解方程扩展到层数高的基底。

2. 先根据 Jordan 标准基的结构求出 \(J\)，然后通过 \(QJ = AQ\) 解出 \(Q\)。

The Minimal Polynomial

若多项式 \(p\) 满足 \(p(T) = T_0\)，则称其为零化多项式。

最小多项式是所有零化多项式中度数最小且首项为 \(1\) 的多项式。不难发现它是唯一的。

求最小多项式：

1. 方法一：求出特征多项式，逐个检查每个因式是否能去掉。
2. 方法二：求出 Jordan 标准形，对每个特征值选最大的 Jordan 块作为次数。

\(\quad\)
\(\quad\)
\(\quad\)
\(\quad\)
\(\quad\)
\(\quad\)
\(\quad\)
\(\quad\)
\(\quad\)
\(\quad\)
\(\quad\)
\(\quad\)
\(\quad\)
\(\quad\)
\(\quad\)