向量的范数
将学习到什么
范数可以看成 Euclid 长度的一种推广，范数在有关数值计算的算法分析以及估计中自然出现。本部分介绍其定义、内积导出的范数和相关的例子.
定义
实的或者复的向量空间上的范数的四条公理如下所示：
定义 1： 设 \(V\) 是域 \(\mathbf{F}\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上的一个向量空间. 函数 \(\lVert \cdot \rVert : V \rightarrow \mathbb{R}\) 称为是一个范数，有时也称为向量范数，如果对所有 \(x,y \in V\) 以及所有 \(c\in \mathbf{F}\)）,
(1) $\lVert x \rVert \geqslant 0 $，非负性
(1a) $\lVert x \rVert = 0 $ 当且仅当 \(x=0\)，正性
(2) $\lVert cx \rVert = \lvert c \rvert \lVert x \rVert $，齐性
(3) \(\lVert x+y \rVert \leqslant \lVert x \rVert+ \lVert y \rVert\)，三角不等式
这四个公理表达了平面上的 Euclid 长度的某些熟知的性质. Euclid 长度也有一些性质不能由这四条推出，比如平行四边形恒等式. 三角不等式表示的范数有次加性. 满足定义 1 中公理 (1)、(2) 以及 (3) 的函数 \(\lVert \cdot \rVert : V \rightarrow \mathbb{R}\) 称为半范数. 非零向量的半范数有可能为零.
引理 2 ： 如果 \(\lVert \cdot \rVert\) 是在一个实的或者复的向量空间 \(V\) 上的一个半向量范数，那么对所有 \(x,y \in V\) 都有 \(\lvert \lVert x \rVert - \lVert y \rVert \rvert \leqslant \lVert x-y \rVert\).
证明：用 \(y=x+(y-x)\) 和 \(x=y+(x-y)\) 结合三角不等式推出.
与 \(\mathbb{R}^n\) 或者 \(\mathbb{C}^n\) 上的 Euclid 长度相关联的是向量 \(y\) 关于 \(x\) 的 Euclid 内积 \(y^*x\)，它与两个向量之间的“角度”有某种关系：如果 \(y^*x=0\)，则 \(x\) 与 \(y\) 正交.
定义 3： 设 \(V\) 是域 \(\mathbf{F}\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上的一个向量空间. 函数 \(\langle \cdot, \cdot \rangle\)：\(V \times V \rightarrow \mathbf{F}\) 称为一个内积，如果对所有 \(x,y,z \in V\) 以及所有 \(c \in \mathbf{F}\)，
(1) \(\langle x, x \rangle \geqslant 0\)，非负性
(1a) \(\langle x, x \rangle = 0\) 当且仅当 \(x=0\)，正性
(2) \(\langle x+y, z \rangle = \langle x, z \rangle +\langle y, z \rangle\)，加性
(3) $\langle cx, y \rangle = c \langle x,y \rangle $，齐性
(4) $\langle x, y \rangle = \overline{\langle y, x \rangle} $， Hermite 性质
公理 (2)、(3) 以及 (4) 表明 \(\langle \cdot, \cdot \rangle\) 是一个半双线性函数，公理 (1a) 以及 (1) 要求当 \(x \neq 0\) 时有 \(\langle x, x \rangle > 0\). \(\mathbb{C}^n\) 上的 Euclid 上的内积 $\langle x, y \rangle = y^*x $ 满足内积五条公理.
设 \(a,b,c,d \in \mathbf{F}\) 以及 \(x,y,w,z \in \mathbf{F}^n\). 从定义 3 中的五条公理推导出下面的性质：
(a) \(\langle x, cy \rangle = \bar{c} \langle x, y \rangle\)
(b) \(\langle x, y+z \rangle = \langle x, y \rangle +\langle x, z \rangle\)
(c) \(\langle ax+by, cw+dz \rangle = a\bar{c}\langle x, w \rangle + b\bar{c}\langle y, w \rangle + a\bar{d}\langle x, z \rangle + b\bar{d}\langle y, z \rangle\)
(d) \(\langle x, \langle x, y\rangle y\rangle = \lvert \langle x,y \rangle \rvert ^2\)
(e) 对所有 \(y \in V\) 都有 $\langle x, y \rangle = 0 $ 的充分必要条件是 \(x=0\).
性质 (a)~(d) 为所有的半双线性函数所具有，只有性质 (e) 依赖公理 (1) 以及 (1a). Cauchy-Schwarz 不等式是所有内积的一个重要性质.
定理 4（Cauchy-Schwarz 不等式）： 设 \(\langle \cdot, \cdot \rangle\) 是域 \(\mathbf{F}\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上向量空间 \(V\) 上的一个内积. 那么
\begin{align}
\lvert \langle x,y \rangle \rvert ^2 \leqslant \langle x, x \rangle \langle y, y \rangle , \quad \text{对所有}\,\, x,y \in V
\end{align}
其中的等式当且仅当 \(x\) 与 \(y\) 线性相关时成立，即当且仅当对某个 \(\alpha \in \mathbf{F}\) 有 \(x=\alpha y\) 或者 \(y=\alpha x\) 时成立.
推论 5： 如果 \(\langle \cdot , \cdot \rangle\) 是实的或者复的向量空间 \(V\) 上的内积，那么由 \(\lVert x \rVert = \langle x, x \rangle ^{1/2}\) 定义的函数 \(\lVert \cdot \rVert\)：\(V \rightarrow [0,\infty)\) 是 \(V\) 上的一个范数.
如果 \(\langle \cdot , \cdot \rangle\) 是实的或者复的向量空间 \(V\) 上的内积，\(V\) 上的函数 \(\lVert x \rVert = \langle x, x \rangle ^{1/2}\) 称为从内积导出的，推论 5 确保 $\lVert \cdot \rVert $ 是 \(V\) 上的一个范数.
满足定义 3 中的内积定理 (1)、(2)、(3) 以及 (4) 但不一定满足公理 (1a) 的函数 \(\langle \cdot , \cdot \rangle\)：\(V \times V \rightarrow \mathbf{F}\) 称为一个半内积，它是这样的一个半双线性函数：对所有 \(x\in V\) 满足 \(\langle x, x \rangle \geqslant 0\). 有关内积的一个重要的事实是：与内积一样，它们满足 Cauchy-Schwarz 不等式.
定理 6： 设 \(\langle \cdot , \cdot \rangle\) 是域 \(\mathbf{F}\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上一个向量空间 \(V\) 上的半内积. 那么对所有 \(x,y \in V\) 有 $ \lvert \langle x,y \rangle \rvert ^2 \leqslant \langle x, x \rangle \langle y, y \rangle $，且由 \(\lVert x \rVert = \langle x, x \rangle ^{1/2}\) 定义的函数 \(\lVert \cdot \rVert\)：\(V \rightarrow [0,\infty)\) 是 \(V\) 上的一个半范数.
范数的例子与内积的例子
向量 \(x=[x_1 \cdots x_n]^T \in \mathbb{C}^n\) 的 Euclid 范数（\(l_2\) 范数）
\begin{align}
\lVert x \rVert _2 = (\lvert x_1 \rvert ^2 + \cdots + \lvert x_n \rvert 2)
\end{align}
可能是最为熟知的范数，因为 \(\lVert x-y \rVert _2\) 度量的是两个点 \(x,y \in \mathbb{C}^n\) 之间的标准的 Euclid 距离. 它是由 Euclid 内积（即 \(\lVert x \rVert _2 = \langle x, x\rangle ^{1/2} = (x^*x)^{1/2}\) ）导出的，且它是酉不变的：对所有的 \(x \in \mathbb{C}^n\) 以及每个酉矩阵 \(U \in M_n\) 都有 \(\lVert Ux \rVert _2=\lVert x \rVert _2\). 事实上， Euclid 范数的正的纯量倍数是 \(\mathbb{C}^n\) 上仅有的酉不变的范数.
\(\mathbb{C}^n\) 上的和范数（\(l_1\) 范数）是
\begin{align}
\lVert x \rVert _1 = \lvert x_1 \rvert + \cdots + \lvert x_n \rvert
\end{align}
这个范数也称为曼哈顿范数，也称为出租车范数，因为它模拟的是出租车在垂直的街道以及大道组成的网络上穿越的距离. 它是 \(\mathbb{C}^n\) 上的范数，却不是由内积导出的且不满足平行四边形恒等式.
\(\mathbb{C}^n\) 上的最大值范数（\(l_{\infty}\) 范数）定义为
\begin{align}
\lVert x \rVert _{\infty} = \max \{ \lvert x_1 \rvert ,\cdots, \lvert x_n \rvert \}
\end{align}
\(l_{\infty}\) 范数不是由内积导出的.
\(\mathbb{C}^n\) 上的 \(l_p\) 范数定义为
\begin{align}
\lVert x \rVert _p = (\lvert x_1 \rvert ^p + \cdots + \lvert x_n \rvert p),\quad p \geqslant 1
\end{align}
\(\mathbb{C}^n\) 上一个重要的离散的范数族填补了和范数与最大值范数之间的空隙. 对每一个 \(k=1,\cdots,n\), 向量 \(x\) 的 \(k\) 范数是通过将 \(x\) 的元素的绝对值按照非增次序排列，并将 \(k\) 个最大的值相加所得到的，即
\begin{align}
\lVert x \rVert _{[k]} = \lvert x_{i_1} \rvert + \cdots + \lvert x_{i_k} \rvert, \quad \text{其中} ,, \lvert x_{i_k} \rvert \geqslant \cdots \geqslant \lvert x_{i_n} \rvert
\end{align}
\(k\) 范数在酉不变矩阵范数的理论中起着重要的作用. 可以验证：对每一个 \(k=1,2,\cdots,\)，$\lVert \cdot \rVert _{[k]} $ 都是 \(\mathbb{C}^n\) 上的范数，且 \(\lVert \cdot \rVert _{\infty}= \lVert \cdot \rVert _{[1]} \leqslant \lVert \cdot \rVert _{[2]} \leqslant \cdots \leqslant \lVert \cdot \rVert _{[n]} = \lVert \cdot \rVert _1\).
\(\mathbb{C}^n\) 上任意一个范数都可以通过一组基用来定义 \(n\) 维实的或者复的向量空间 \(V\) 上的范数． 如果 \(\mathscr{B}=\{b^{(1)}, \cdots, b^{(n)}\}\) 是 \(V\) 的一组基，又如果将 \(x=\sum_{i=1}^nx_ib^{(i)}\) 表示为基向量的线性组合，那么映射 \(x \rightarrow [x]_{\mathscr{B}}=[x_1\cdots x_n]^T\in \mathbb{C}^n\) 就是 \(V\) 到 \(\mathbb{C}^n\) 上的一个同构. 如果 \(\lVert \cdot \rVert\) 是 \(\mathbb{C}^n\) 上任意一个给定的范数，那么 \(\lVert x \rVert_{\mathscr{B}}=\lVert [x]_{\mathscr{B}}\rVert\) 就是 \(V\) 上的范数.
设 \(S\in M_{m,n}\) 是列满秩的，故有 \(m\geqslant n\). 设 \(\lVert \cdot \rVert\) 是 \(\mathbb{C}^n\) 上一个给它的范数，并对 \(x \in \mathbb{C}^n\) 定义 \(\lVert x\rVert _S=\lVert Sx \rVert\)，那么，\(\lVert x\rVert _S\) 是 \(\mathbb{C}^n\) 上一个范数.
应该知道什么
- 掌握相关定义
- Cauchy-Schwarz 不等式
- Euclid 范数的正的纯量倍数是 \(\mathbb{C}^n\) 上仅有的酉不变的范数
- \(\mathbb{C}^n\) 上任意一个范数都可以通过一组基用来定义 \(n\) 维实的或者复的向量空间 \(V\) 上的范数
