第六章 内积空间

本章中，$\mathbb F$ 只能为 $\mathbb C$ 或 $\mathbb R$。

6.1 内积与范数

• 定义 6.1.1（内积）：内积 $\langle a,b\rangle$ 是一个 $V\times V\to\mathbb F$ 的函数，满足对任意 $u,v,w\in V$ 和 $\lambda\in\mathbb F$：
  • 正性：$\langle v,v\rangle\in \mathbb R\land \langle v,v\rangle \geq0$。
  • 定性：$\langle v,v\rangle=0\iff v=0$。
  • 加性：$\langle u+v,w\rangle=\langle u,w\rangle+\langle v,w\rangle$。
  • 齐性：$\langle \lambda u,v\rangle=\lambda\langle u,v\rangle$。
  • 共轭对称性：$\langle u,v\rangle =\overline{\langle v,u\rangle}$。
• 定义 6.1.2（内积空间）：内积空间是一个二元组，其中第一个元素为一线性空间 $V$，第二个元素为定义在 $V$ 上的内积。

事实上，共轭对称性已经蕴含了 $\langle v,v\rangle =\overline{\langle v,v\rangle}\implies \langle v,v\rangle\in\mathbb R$。

在本章的余下部分，$V$ 表示 $\mathbb F$ 上的内积空间。

• 引理 6.1.3（内积的基本性质）：设 $u,v,w\in V$ 和 $\lambda\in\mathbb F$：
  • 当 $v$ 固定时，由 $u\mapsto \langle u,v\rangle$ 定义的函数 $V\to\mathbb F$ 是线性映射。
  • $\langle 0,u\rangle=\langle u,0\rangle=0$。
  • $\langle u,v+w\rangle=\langle u,v\rangle+\langle u,w\rangle$。
  • $\langle u,\lambda v\rangle=\overline{\lambda}\langle u,v\rangle$。

假设 $v_1,\cdots,v_n$ 是 $V$ 的一组基，那么确定所有的 $\langle v_i,v_j\rangle$ 就能确定任意两个向量的内积。（注意这并不代表所有内积构成的空间的维数就是 $n^2$，因为这根本不构成一个空间，因为内积要求正性）

• 定义 6.1.4（范数）：设 $v\in V$，定义 $v$ 的范数为 $\lVert v\rVert=\sqrt{\langle v,v\rangle}$。
• 引理 6.1.5（范数的基本性质）：设 $v\in V$ 和 $\lambda\in \mathbb F$：
  • $\lVert v\rVert =0\iff v=0$。
  • $\lVert \lambda v\rVert=|\lambda|\lVert v\rVert$。

内积的定义中，采用共轭对称性而非交换性，实际上是为了也适用于复数上最通常的模长的定义。一方面，对于实数 $\alpha$，$|\alpha|=\sqrt{\alpha\cdot\alpha}$；而对于复数 $\beta$，$|\beta|=\sqrt{\beta\cdot\overline{\beta}}$。而类似通常意义下 $\mathbb R^n$ 上的模长 $\lVert\alpha\rVert^2=a_1a_1+\cdots+a_na_n$ 和点积 $\alpha\cdot \beta=a_1b_1+\cdots+a_nb_n$，我们就类似地把通常意义下 $\mathbb C^n$ 上的模长和点积定义为 $\lVert\alpha\rVert^2=|a_1|^2+\cdots+|a_n|^2=a_1\overline{a_1}+\cdots+a_n\overline{a_n}$ 和 $\alpha\cdot\beta=a_1\overline{\beta_1}+\cdots+\alpha_n\overline{\beta_n}$。而 6.1.1 中内积的定义就是通常意义下的推广。

• 定义 6.1.6（正交）：设 $u,v\in V$，称它们是正交的，当且仅当 $\langle u,v\rangle=0$。

那么 $0$ 和 $V$ 中任意一个向量正交。

• 引理 6.1.7（勾股定理）：设 $u,v\in V$ 且它们正交，那么 $\lVert u+v\rVert^2=\lVert u\rVert^2+\lVert v\rVert^2$。

  证明：根据线性性将 $\lVert u+v \rVert^2$ 展开即可。

在引理 6.1.7 的证明中，可以得到 $\lVert u+v\rVert^2=\lVert u\rVert^2+\lVert v\rVert^2\iff \langle u,v\rangle+\langle v,u\rangle=0\iff \operatorname{Re}\langle u,v\rangle=0$。那么当 $\mathbb F$ 为 $\mathbb R$ 时，勾股定理实际上是一个双向命题。

• 引理 6.1.8（正交分解）：设 $u,v\in V$ 且 $v\neq 0$。那么对任意 $c\in\mathbb F$ 和 $w\in V$，$u=cv+w$ 且 $v,w$ 正交当且仅当 $c=\frac{\langle u,v\rangle}{\lVert v\rVert^2}$ 且 $w=u-cv$。

  证明：$\langle u-cv,v\rangle=0\iff \langle u,v\rangle-c\langle v,v\rangle=0\iff c=\frac{\langle u,v\rangle}{\langle v,v\rangle}$，$c$ 确定后 $w=u-cv$ 肯定唯一确定。

这里 $\frac{\langle u,v\rangle}{\lVert v\rVert^2}$ 就可以理解为 $\frac{u\text{在}v\text{上的投影长度}}{v\text{的长度}}$。

• 推论 6.1.9：设 $u,v\in V$ 且 $v\neq 0$，$u,v$ 线性相关。那么 $u=\frac{\langle u,v\rangle}{\lVert v\rVert^2}v$。

  证明：$u,v$ 线性相关，说明存在唯一的 $k\in\mathbb F$ 使得 $u=kv$，再根据正交分解的唯一性，可知 $k=\frac{\langle u,v\rangle}{\lVert v\rVert^2}$。

• 定理 6.1.10（柯西施瓦茨不等式）：设 $u,v\in V$。那么 $|\langle u,v\rangle|\leq \lVert u\rVert \lVert v\rVert$。其中 $\leq$ 取等当且仅当 $u,v$ 线性相关。

  证明：排除掉 $v= 0$ 的平凡情况。那么存在正交分解 $u=\frac{\langle u,v\rangle}{\lVert v\rVert^2}v+(u-\frac{\langle u,v\rangle}{\lVert v\rVert^2}v)$，又由勾股定理可知 $\lVert u\rVert ^2=\lVert \frac{\langle u,v\rangle}{\lVert v\rVert^2}v\rVert^2+\lVert u-\frac{\langle u,v\rangle}{\lVert v\rVert^2}v\rVert^2$，于是 $\lVert u\rVert^2\geq \lVert \frac{\langle u,v\rangle}{\lVert v\rVert^2}v\rVert^2=\frac{|\langle u,v\rangle|^2}{\lVert v\rVert^2}$。

• 定理 6.1.11（三角形不等式）：设 $u,v\in V$，那么 $\lVert u+v\rVert \leq \lVert u\rVert +\lVert v\rVert$。其中 $\leq$ 取等当且仅当存在 $\lambda\in\mathbb R \land \lambda\geq 0$ 使得 $u=\lambda v$ 或 $v=\lambda u$。

  证明：排除掉 $u+v=0$ 的平凡情况。

  $$\begin{aligned} \lVert u\rVert+\lVert v\rVert&\geq \lVert \frac{\langle u,u+v\rangle}{\lVert u+v\rVert^2}(u+v)\rVert+\lVert\frac{\langle v,u+v\rangle}{\lVert u+v\rVert^2}(u+v)\rVert\\ &=\frac{|\langle u,u+v\rangle|+|\langle v,u+v\rangle|}{\lVert u+v\rVert}\\ &\geq\frac{|\langle u,u+v\rangle+\langle v,u+v\rangle|}{\lVert u+v\rVert}\\ &= \lVert u+v\rVert \end{aligned}$$

  其中若式子取等，一方面要在第一个不等号处取等，即 $u,v$ 线性相关，于是 $|\langle u,u+v\rangle|=\lVert u\rVert\lVert u+v\rVert$ 且 $|\langle v,u+v\rangle|=\lVert v\rVert\lVert u+v\rVert$；一方面要在第二个不等号处取等，从而要求 $\lVert u\rVert +\lVert v\rVert=\lVert u+v\rVert$。排除掉 $v=0$ 的平凡情况，设 $\lambda\in\mathbb F$ 使得 $u=\lambda v$，那么等价于 $(1+|\lambda|)\lVert v\rVert=|1+\lambda|\lVert v\rVert$，再由复数上的三角形不等式知这等价于 $\lambda\in\mathbb R\land \lambda\geq 0$。

• 定理 6.1.12（平行四边形恒等式）：设 $u,v\in V$，那么 $\lVert u+v\rVert^2+\lVert u-v\rVert^2=2(\lVert u\rVert^2+\lVert v\rVert^2)$。

  证明：展开即可。

定理 6.1.12 的几何证明并不容易，这说明向量与内积帮助我们用代数方法解决几何问题。

6.2 单位正交基

• 定义 6.2.1（正交组）：称 $V$ 上的向量组 $e_1,\cdots,e_n$ 是正交的，当且仅当 $\langle e_i,e_j\rangle=0$ 对任意 $i\neq j$ 成立。

  称 $V$ 上的向量组 $e_1,\cdots,e_n$ 是单位正交的，当且仅当 $\langle e_i,e_j\rangle=\begin{cases}1&j=k\\0&j\neq k\end{cases}$。

• 引理 6.2.2：设 $e_1,\cdots,e_n$ 是 $V$ 的单位正交向量组，那么对任意 $a_1,\cdots,a_n\in\mathbb F$ 有 $\lVert a_1e_1+\cdots+a_ne_n\rVert^2=|a_1|^2+\cdots+|a_n|^2$。

• 推论 6.2.3：设 $e_1,\cdots,e_n$ 是 $V$ 的正交向量组且不包含零，那么它们线性无关。

  证明：$a_1e_1+\cdots+a_ne_n=0$，同时点积上 $e_1$ 得到 $a_1\langle e_1,e_1\rangle=0$，那么 $a_1=0$。

• 推论 6.2.4：$V$ 的每个大小为 $\dim V$ 的单位正交向量组都是 $V$ 的单位正交基。

• 引理 6.2.5：设 $e_1,\cdots,e_n$ 是 $V$ 的单位正交基，$v\in V$，那么 $v=\langle v,e_1\rangle e_1+\cdots+\langle v,e_n\rangle e_n$。

  证明：设 $v=a_1e_1+\cdots+a_ne_n$，那么两侧同时和 $e_1$ 作内积即可得到 $a_1=\langle v,e_1\rangle$。

  或者证明 $a_2e_2+\cdots+a_ne_n$ 和 $e_1$ 正交，从而根据正交分解可知 $a_1=\frac{\langle v,e_1\rangle}{\lVert e_1\rVert^2}=\langle v,e_1\rangle$。

• 定理 6.2.6（格拉姆-施密特过程）：设 $v_1,\cdots,v_n$ 是 $V$ 的线性无关向量组，那么存在 $V$ 的单位正交向量组 $e_1,\cdots,e_n$，满足：

  • $e_i=\frac{e_i'}{\lVert e_i'\rVert}$。

  • $e_1'=v_1$；对 $i>1$，$e_i'=v_i-\langle v_i,e_1\rangle e_1-\cdots-\langle v_i,e_{i-1}\rangle e_{i-1}$。

  • $\operatorname{span}(v_1,\cdots,v_i)=\operatorname{span}(e_1,\cdots,e_i)$。

  证明：考虑归纳。每次新的 $e_i'$ 和 $e_1,\cdots,e_{i-1}$ 都正交是显然的，只需对每个 $j<i$ 与 $e_j$ 作点积即可。（当然，类似正交分解，也可以证明 $v_i$ 的这种分解方式是唯一的）。同时注意到 $e_i'$ 非零（因为 $v_i\not\in\operatorname{span}(v_1,\cdots,v_{i-1})=\operatorname{span}(e_1,\cdots,e_{i-1})$），所以 $e_i$ 总是定义良好的。而 $\operatorname{span}(v_1,\cdots,v_i)=\operatorname{span}(e_1,\cdots,e_i)$ 直接根据单位正交组总是线性无关的可得。

• 推论 6.2.7：设 $V$ 是有限维的，那么 $V$ 有单位正交基。

• 推论 6.2.8：设 $V$ 是有限维的，$e_1,\cdots,e_m$ 是 $V$ 的单位正交组，那么可以将其扩充为 $V$ 的一组单位正交基 $e_1,\cdots,e_m,e'_1,\cdots,e'_n$。

  证明：先将 $e_1,\cdots,e_m$ 扩充为 $V$ 的基 $e_1,\cdots,e_m,v_1,\cdots,v_n$，然后对 $v_1,\cdots,v_n$ 进行格拉姆-施密特过程。

• 引理 6.2.9：设 $T\in\mathcal L(V)$，$T$ 关于 $V$ 的某个基有上三角矩阵，那么 $T$ 关于 $V$ 的某个单位正交基有上三角矩阵。

  证明：$T$ 关于 $V$ 的基 $v_1,\cdots,v_n$ 有上三角矩阵，等价于 $T$ 在 $\operatorname{span}(v_1,\cdots,v_i)$ 下不变对任意 $i$ 成立。根据格拉姆-施密特过程，存在 $V$ 的单位正交向量组使得 $\operatorname{span}(v_1,\cdots,v_i)=\operatorname{span}(e_1,\cdots,e_i)$ 对任意 $i$ 成立，那么 $T$ 也在 $\operatorname{span}(e_1,\cdots,e_i)$ 下不变。

• 定理 6.2.10（舒尔定理）：设 $V$ 是 $\mathbb C$ 上的有限维向量空间，$T\in\mathcal L(V)$。那么 $T$ 关于 $V$ 的某个单位正交基有上三角矩阵。

• 定理 6.2.11（里斯表示定理）：设 $V$ 是有限维的，$\varphi\in \mathcal L(V,\mathbb F)$ 是 $V$ 上的线性泛函，那么存在唯一的 $u\in V$，使得对任意 $v\in V$ 有 $\varphi(v)=\langle v,u\rangle$。

  证明：任取 $V$ 的一组单位正交基 $e_1,\cdots,e_n$，那么 $\varphi(e_i)$ 实际上就确定了 $\langle e_i,u\rangle$，从而 $u$ 唯一确定。于是这两个线性泛函在基上的取值相等，从而这两个线性泛函相同。

里斯表示定理表达的是，设 $e_1,\cdots,e_n$ 是内积空间的一组单位正交基，内积空间上任意一个线性泛函 $\varphi$ 都可以看成是到空间中某向量 $u$ 的投影长度再乘上 $\lVert u\rVert$，而且该向量的第 $i$ 维坐标恰好就是线性泛函在 $e_i$ 上的权重，这是因为 $e_i$ 在 $u$ 上的投影再乘上 $\lVert u\rVert$，根据对称性（无论是几何上还是内积的定义），恰好就是 $u$ 在 $e_i$ 这一维上的投影长度。

6.3 正交补与极小化问题

• 定义 6.3.1（正交补）：设 $U\subseteq V$，定义 $U$ 的正交补为 $U^\perp:=\{v\in V:\forall_{u\in U},(v,u)=0\}$。

• 引理 6.3.2（正交补的基本性质）：设 $U\subseteq V$。

  • $U^\perp$ 是 $V$ 的线性子空间。
  • $U\cap U^\perp\subseteq\{0\}$。
  • $U\subseteq W\subseteq V\implies W^\perp\subseteq U^\perp$。

• 引理 6.3.3：设 $U$ 是 $V$ 的有限维子空间，那么 $V=U\oplus U^\perp$。

  证明：显然 $U+U^\perp$ 确实是直和。设 $e_1,\cdots,e_n$ 是 $U$ 的一组单位正交基，$v\in V$，显然 $\langle v,e_1\rangle e_1+\cdots+\langle v,e_n\rangle e_n\in U$，而容易验证 $v-\langle v,e_1\rangle e_1-\cdots-\langle v,e_n\rangle e_n\in U^\perp$，从而 $v\in U+U^\perp$。

注意引理 6.3.3 中并不能将 $U$ 的单位正交基扩充为 $V$ 的单位正交基来证明，因为没有假设 $V$ 是有限维的。

• 引理 6.3.4：设 $U$ 是 $V$ 的有限维子空间，那么 $U=(U^\perp)^\perp$。

• 定义 6.3.5（正交投影）：设 $U$ 是 $V$ 的有限维子空间。根据引理 6.3.3，对于任意 $v\in V$，存在唯一的 $u\in U$ 和 $w\in U^\perp$ 使得 $v=u+w$，将 $u$ 记为 $P_Uv$。那么 $P_Uv$ 是线性算子。

• 引理 6.3.6（正交投影的性质）：设 $U$ 是 $V$ 的有限维子空间，$v\in V$：

  • $\operatorname{range}P_U=U$，$\operatorname{null}P_U=U^\perp$。
  • $P_U^2=P_U$。
  • $\lVert P_Uv\rVert\leq \lVert v\rVert$。
  • 设 $e_1,\cdots,e_n$ 是 $U$ 的一组单位正交基，那么 $P_Uv=\langle v,e_1\rangle e_1+\cdots+\langle v,e_n\rangle e_n$。

• 引理 6.3.7（极小化问题）：设 $U$ 是 $V$ 的有限维子空间，$v\in V$，那么 $\min_{u\in U}\lVert v-u\rVert=\lVert v-P_Uv\rVert$ 且取得最小值的 $u$ 唯一。

  证明：$\lVert v-u\rVert^2=\lVert (v-P_Uv)+(P_Uv-u)\rVert^2=\lVert v-P_Uv\rVert^2+\lVert P_Uv-u\rVert^2\geq \lVert v-P_Uv\rVert^2$。