第六章 内积空间

本章中，\(\mathbb F\) 只能为 \(\mathbb C\) 或 \(\mathbb R\)。

6.1 内积与范数

• 定义 6.1.1（内积）：内积 \(\langle a,b\rangle\) 是一个 \(V\times V\to\mathbb F\) 的函数，满足对任意 \(u,v,w\in V\) 和 \(\lambda\in\mathbb F\)：
  • 正性：\(\langle v,v\rangle\in \mathbb R\land \langle v,v\rangle \geq0\)。
  • 定性：\(\langle v,v\rangle=0\iff v=0\)。
  • 加性：\(\langle u+v,w\rangle=\langle u,w\rangle+\langle v,w\rangle\)。
  • 齐性：\(\langle \lambda u,v\rangle=\lambda\langle u,v\rangle\)。
  • 共轭对称性：\(\langle u,v\rangle =\overline{\langle v,u\rangle}\)。
• 定义 6.1.2（内积空间）：内积空间是一个二元组，其中第一个元素为一线性空间 \(V\)，第二个元素为定义在 \(V\) 上的内积。

事实上，共轭对称性已经蕴含了 \(\langle v,v\rangle =\overline{\langle v,v\rangle}\implies \langle v,v\rangle\in\mathbb R\)。

在本章的余下部分，\(V\) 表示 \(\mathbb F\) 上的内积空间。

• 引理 6.1.3（内积的基本性质）：设 \(u,v,w\in V\) 和 \(\lambda\in\mathbb F\)：
  • 当 \(v\) 固定时，由 \(u\mapsto \langle u,v\rangle\) 定义的函数 \(V\to\mathbb F\) 是线性映射。
  • \(\langle 0,u\rangle=\langle u,0\rangle=0\)。
  • \(\langle u,v+w\rangle=\langle u,v\rangle+\langle u,w\rangle\)。
  • \(\langle u,\lambda v\rangle=\overline{\lambda}\langle u,v\rangle\)。

假设 \(v_1,\cdots,v_n\) 是 \(V\) 的一组基，那么确定所有的 \(\langle v_i,v_j\rangle\) 就能确定任意两个向量的内积。（注意这并不代表所有内积构成的空间的维数就是 \(n^2\)，因为这根本不构成一个空间，因为内积要求正性）

• 定义 6.1.4（范数）：设 \(v\in V\)，定义 \(v\) 的范数为 \(\lVert v\rVert=\sqrt{\langle v,v\rangle}\)。
• 引理 6.1.5（范数的基本性质）：设 \(v\in V\) 和 \(\lambda\in \mathbb F\)：
  • \(\lVert v\rVert =0\iff v=0\)。
  • \(\lVert \lambda v\rVert=|\lambda|\lVert v\rVert\)。

内积的定义中，采用共轭对称性而非交换性，实际上是为了也适用于复数上最通常的模长的定义。一方面，对于实数 \(\alpha\)，\(|\alpha|=\sqrt{\alpha\cdot\alpha}\)；而对于复数 \(\beta\)，\(|\beta|=\sqrt{\beta\cdot\overline{\beta}}\)。而类似通常意义下 \(\mathbb R^n\) 上的模长 \(\lVert\alpha\rVert^2=a_1a_1+\cdots+a_na_n\) 和点积 \(\alpha\cdot \beta=a_1b_1+\cdots+a_nb_n\)，我们就类似地把通常意义下 \(\mathbb C^n\) 上的模长和点积定义为 \(\lVert\alpha\rVert^2=|a_1|^2+\cdots+|a_n|^2=a_1\overline{a_1}+\cdots+a_n\overline{a_n}\) 和 \(\alpha\cdot\beta=a_1\overline{\beta_1}+\cdots+\alpha_n\overline{\beta_n}\)。而 6.1.1 中内积的定义就是通常意义下的推广。

• 定义 6.1.6（正交）：设 \(u,v\in V\)，称它们是正交的，当且仅当 \(\langle u,v\rangle=0\)。

那么 \(0\) 和 \(V\) 中任意一个向量正交。

• 引理 6.1.7（勾股定理）：设 \(u,v\in V\) 且它们正交，那么 \(\lVert u+v\rVert^2=\lVert u\rVert^2+\lVert v\rVert^2\)。

  证明：根据线性性将 \(\lVert u+v \rVert^2\) 展开即可。

在引理 6.1.7 的证明中，可以得到 \(\lVert u+v\rVert^2=\lVert u\rVert^2+\lVert v\rVert^2\iff \langle u,v\rangle+\langle v,u\rangle=0\iff \operatorname{Re}\langle u,v\rangle=0\)。那么当 \(\mathbb F\) 为 \(\mathbb R\) 时，勾股定理实际上是一个双向命题。

• 引理 6.1.8（正交分解）：设 \(u,v\in V\) 且 \(v\neq 0\)。那么对任意 \(c\in\mathbb F\) 和 \(w\in V\)，\(u=cv+w\) 且 \(v,w\) 正交当且仅当 \(c=\frac{\langle u,v\rangle}{\lVert v\rVert^2}\) 且 \(w=u-cv\)。

  证明：\(\langle u-cv,v\rangle=0\iff \langle u,v\rangle-c\langle v,v\rangle=0\iff c=\frac{\langle u,v\rangle}{\langle v,v\rangle}\)，\(c\) 确定后 \(w=u-cv\) 肯定唯一确定。

这里 \(\frac{\langle u,v\rangle}{\lVert v\rVert^2}\) 就可以理解为 \(\frac{u\text{在}v\text{上的投影长度}}{v\text{的长度}}\)。

• 推论 6.1.9：设 \(u,v\in V\) 且 \(v\neq 0\)，\(u,v\) 线性相关。那么 \(u=\frac{\langle u,v\rangle}{\lVert v\rVert^2}v\)。

  证明：\(u,v\) 线性相关，说明存在唯一的 \(k\in\mathbb F\) 使得 \(u=kv\)，再根据正交分解的唯一性，可知 \(k=\frac{\langle u,v\rangle}{\lVert v\rVert^2}\)。

• 定理 6.1.10（柯西施瓦茨不等式）：设 \(u,v\in V\)。那么 \(|\langle u,v\rangle|\leq \lVert u\rVert \lVert v\rVert\)。其中 \(\leq\) 取等当且仅当 \(u,v\) 线性相关。

  证明：排除掉 \(v= 0\) 的平凡情况。那么存在正交分解 \(u=\frac{\langle u,v\rangle}{\lVert v\rVert^2}v+(u-\frac{\langle u,v\rangle}{\lVert v\rVert^2}v)\)，又由勾股定理可知 \(\lVert u\rVert ^2=\lVert \frac{\langle u,v\rangle}{\lVert v\rVert^2}v\rVert^2+\lVert u-\frac{\langle u,v\rangle}{\lVert v\rVert^2}v\rVert^2\)，于是 \(\lVert u\rVert^2\geq \lVert \frac{\langle u,v\rangle}{\lVert v\rVert^2}v\rVert^2=\frac{|\langle u,v\rangle|^2}{\lVert v\rVert^2}\)。

• 定理 6.1.11（三角形不等式）：设 \(u,v\in V\)，那么 \(\lVert u+v\rVert \leq \lVert u\rVert +\lVert v\rVert\)。其中 \(\leq\) 取等当且仅当存在 \(\lambda\in\mathbb R \land \lambda\geq 0\) 使得 \(u=\lambda v\) 或 \(v=\lambda u\)。

  证明：排除掉 \(u+v=0\) 的平凡情况。

  \[\begin{aligned} \lVert u\rVert+\lVert v\rVert&\geq \lVert \frac{\langle u,u+v\rangle}{\lVert u+v\rVert^2}(u+v)\rVert+\lVert\frac{\langle v,u+v\rangle}{\lVert u+v\rVert^2}(u+v)\rVert\\ &=\frac{|\langle u,u+v\rangle|+|\langle v,u+v\rangle|}{\lVert u+v\rVert}\\ &\geq\frac{|\langle u,u+v\rangle+\langle v,u+v\rangle|}{\lVert u+v\rVert}\\ &= \lVert u+v\rVert \end{aligned} \]

  其中若式子取等，一方面要在第一个不等号处取等，即 \(u,v\) 线性相关，于是 \(|\langle u,u+v\rangle|=\lVert u\rVert\lVert u+v\rVert\) 且 \(|\langle v,u+v\rangle|=\lVert v\rVert\lVert u+v\rVert\)；一方面要在第二个不等号处取等，从而要求 \(\lVert u\rVert +\lVert v\rVert=\lVert u+v\rVert\)。排除掉 \(v=0\) 的平凡情况，设 \(\lambda\in\mathbb F\) 使得 \(u=\lambda v\)，那么等价于 \((1+|\lambda|)\lVert v\rVert=|1+\lambda|\lVert v\rVert\)，再由复数上的三角形不等式知这等价于 \(\lambda\in\mathbb R\land \lambda\geq 0\)。

• 定理 6.1.12（平行四边形恒等式）：设 \(u,v\in V\)，那么 \(\lVert u+v\rVert^2+\lVert u-v\rVert^2=2(\lVert u\rVert^2+\lVert v\rVert^2)\)。

  证明：展开即可。

定理 6.1.12 的几何证明并不容易，这说明向量与内积帮助我们用代数方法解决几何问题。

6.2 单位正交基

• 定义 6.2.1（正交组）：称 \(V\) 上的向量组 \(e_1,\cdots,e_n\) 是正交的，当且仅当 \(\langle e_i,e_j\rangle=0\) 对任意 \(i\neq j\) 成立。

  称 \(V\) 上的向量组 \(e_1,\cdots,e_n\) 是单位正交的，当且仅当 \(\langle e_i,e_j\rangle=\begin{cases}1&j=k\\0&j\neq k\end{cases}\)。

• 引理 6.2.2：设 \(e_1,\cdots,e_n\) 是 \(V\) 的单位正交向量组，那么对任意 \(a_1,\cdots,a_n\in\mathbb F\) 有 \(\lVert a_1e_1+\cdots+a_ne_n\rVert^2=|a_1|^2+\cdots+|a_n|^2\)。

• 推论 6.2.3：设 \(e_1,\cdots,e_n\) 是 \(V\) 的正交向量组且不包含零，那么它们线性无关。

  证明：\(a_1e_1+\cdots+a_ne_n=0\)，同时点积上 \(e_1\) 得到 \(a_1\langle e_1,e_1\rangle=0\)，那么 \(a_1=0\)。

• 推论 6.2.4：\(V\) 的每个大小为 \(\dim V\) 的单位正交向量组都是 \(V\) 的单位正交基。

• 引理 6.2.5：设 \(e_1,\cdots,e_n\) 是 \(V\) 的单位正交基，\(v\in V\)，那么 \(v=\langle v,e_1\rangle e_1+\cdots+\langle v,e_n\rangle e_n\)。

  证明：设 \(v=a_1e_1+\cdots+a_ne_n\)，那么两侧同时和 \(e_1\) 作内积即可得到 \(a_1=\langle v,e_1\rangle\)。

  或者证明 \(a_2e_2+\cdots+a_ne_n\) 和 \(e_1\) 正交，从而根据正交分解可知 \(a_1=\frac{\langle v,e_1\rangle}{\lVert e_1\rVert^2}=\langle v,e_1\rangle\)。

• 定理 6.2.6（格拉姆-施密特过程）：设 \(v_1,\cdots,v_n\) 是 \(V\) 的线性无关向量组，那么存在 \(V\) 的单位正交向量组 \(e_1,\cdots,e_n\)，满足：

  • \(e_i=\frac{e_i'}{\lVert e_i'\rVert}\)。

  • \(e_1'=v_1\)；对 \(i>1\)，\(e_i'=v_i-\langle v_i,e_1\rangle e_1-\cdots-\langle v_i,e_{i-1}\rangle e_{i-1}\)。

  • \(\operatorname{span}(v_1,\cdots,v_i)=\operatorname{span}(e_1,\cdots,e_i)\)。

  证明：考虑归纳。每次新的 \(e_i'\) 和 \(e_1,\cdots,e_{i-1}\) 都正交是显然的，只需对每个 \(j<i\) 与 \(e_j\) 作点积即可。（当然，类似正交分解，也可以证明 \(v_i\) 的这种分解方式是唯一的）。同时注意到 \(e_i'\) 非零（因为 \(v_i\not\in\operatorname{span}(v_1,\cdots,v_{i-1})=\operatorname{span}(e_1,\cdots,e_{i-1})\)），所以 \(e_i\) 总是定义良好的。而 \(\operatorname{span}(v_1,\cdots,v_i)=\operatorname{span}(e_1,\cdots,e_i)\) 直接根据单位正交组总是线性无关的可得。

• 推论 6.2.7：设 \(V\) 是有限维的，那么 \(V\) 有单位正交基。

• 推论 6.2.8：设 \(V\) 是有限维的，\(e_1,\cdots,e_m\) 是 \(V\) 的单位正交组，那么可以将其扩充为 \(V\) 的一组单位正交基 \(e_1,\cdots,e_m,e'_1,\cdots,e'_n\)。

  证明：先将 \(e_1,\cdots,e_m\) 扩充为 \(V\) 的基 \(e_1,\cdots,e_m,v_1,\cdots,v_n\)，然后对 \(v_1,\cdots,v_n\) 进行格拉姆-施密特过程。

• 引理 6.2.9：设 \(T\in\mathcal L(V)\)，\(T\) 关于 \(V\) 的某个基有上三角矩阵，那么 \(T\) 关于 \(V\) 的某个单位正交基有上三角矩阵。

  证明：\(T\) 关于 \(V\) 的基 \(v_1,\cdots,v_n\) 有上三角矩阵，等价于 \(T\) 在 \(\operatorname{span}(v_1,\cdots,v_i)\) 下不变对任意 \(i\) 成立。根据格拉姆-施密特过程，存在 \(V\) 的单位正交向量组使得 \(\operatorname{span}(v_1,\cdots,v_i)=\operatorname{span}(e_1,\cdots,e_i)\) 对任意 \(i\) 成立，那么 \(T\) 也在 \(\operatorname{span}(e_1,\cdots,e_i)\) 下不变。

• 定理 6.2.10（舒尔定理）：设 \(V\) 是 \(\mathbb C\) 上的有限维向量空间，\(T\in\mathcal L(V)\)。那么 \(T\) 关于 \(V\) 的某个单位正交基有上三角矩阵。

• 定理 6.2.11（里斯表示定理）：设 \(V\) 是有限维的，\(\varphi\in \mathcal L(V,\mathbb F)\) 是 \(V\) 上的线性泛函，那么存在唯一的 \(u\in V\)，使得对任意 \(v\in V\) 有 \(\varphi(v)=\langle v,u\rangle\)。

  证明：任取 \(V\) 的一组单位正交基 \(e_1,\cdots,e_n\)，那么 \(\varphi(e_i)\) 实际上就确定了 \(\langle e_i,u\rangle\)，从而 \(u\) 唯一确定。于是这两个线性泛函在基上的取值相等，从而这两个线性泛函相同。

里斯表示定理表达的是，设 \(e_1,\cdots,e_n\) 是内积空间的一组单位正交基，内积空间上任意一个线性泛函 \(\varphi\) 都可以看成是到空间中某向量 \(u\) 的投影长度再乘上 \(\lVert u\rVert\)，而且该向量的第 \(i\) 维坐标恰好就是线性泛函在 \(e_i\) 上的权重，这是因为 \(e_i\) 在 \(u\) 上的投影再乘上 \(\lVert u\rVert\)，根据对称性（无论是几何上还是内积的定义），恰好就是 \(u\) 在 \(e_i\) 这一维上的投影长度。

6.3 正交补与极小化问题

• 定义 6.3.1（正交补）：设 \(U\subseteq V\)，定义 \(U\) 的正交补为 \(U^\perp:=\{v\in V:\forall_{u\in U},(v,u)=0\}\)。

• 引理 6.3.2（正交补的基本性质）：设 \(U\subseteq V\)。

  • \(U^\perp\) 是 \(V\) 的线性子空间。
  • \(U\cap U^\perp\subseteq\{0\}\)。
  • \(U\subseteq W\subseteq V\implies W^\perp\subseteq U^\perp\)。

• 引理 6.3.3：设 \(U\) 是 \(V\) 的有限维子空间，那么 \(V=U\oplus U^\perp\)。

  证明：显然 \(U+U^\perp\) 确实是直和。设 \(e_1,\cdots,e_n\) 是 \(U\) 的一组单位正交基，\(v\in V\)，显然 \(\langle v,e_1\rangle e_1+\cdots+\langle v,e_n\rangle e_n\in U\)，而容易验证 \(v-\langle v,e_1\rangle e_1-\cdots-\langle v,e_n\rangle e_n\in U^\perp\)，从而 \(v\in U+U^\perp\)。

注意引理 6.3.3 中并不能将 \(U\) 的单位正交基扩充为 \(V\) 的单位正交基来证明，因为没有假设 \(V\) 是有限维的。

• 引理 6.3.4：设 \(U\) 是 \(V\) 的有限维子空间，那么 \(U=(U^\perp)^\perp\)。

• 定义 6.3.5（正交投影）：设 \(U\) 是 \(V\) 的有限维子空间。根据引理 6.3.3，对于任意 \(v\in V\)，存在唯一的 \(u\in U\) 和 \(w\in U^\perp\) 使得 \(v=u+w\)，将 \(u\) 记为 \(P_Uv\)。那么 \(P_Uv\) 是线性算子。

• 引理 6.3.6（正交投影的性质）：设 \(U\) 是 \(V\) 的有限维子空间，\(v\in V\)：

  • \(\operatorname{range}P_U=U\)，\(\operatorname{null}P_U=U^\perp\)。
  • \(P_U^2=P_U\)。
  • \(\lVert P_Uv\rVert\leq \lVert v\rVert\)。
  • 设 \(e_1,\cdots,e_n\) 是 \(U\) 的一组单位正交基，那么 \(P_Uv=\langle v,e_1\rangle e_1+\cdots+\langle v,e_n\rangle e_n\)。

• 引理 6.3.7（极小化问题）：设 \(U\) 是 \(V\) 的有限维子空间，\(v\in V\)，那么 \(\min_{u\in U}\lVert v-u\rVert=\lVert v-P_Uv\rVert\) 且取得最小值的 \(u\) 唯一。

  证明：\(\lVert v-u\rVert^2=\lVert (v-P_Uv)+(P_Uv-u)\rVert^2=\lVert v-P_Uv\rVert^2+\lVert P_Uv-u\rVert^2\geq \lVert v-P_Uv\rVert^2\)。