范数的代数性质与解析性质
将学习到什么
范数的代数性质描述了构造新范数的方法，解析性质描述了两个不同的范数之间可能存在的关系.
代数性质
从给定的范数出发，可以用若干种方法构造出新的范数，比如两个范数的和是一个范数、一个范数的任意正的倍数还是范数、由已知两个范数取最大值构造的函数也是范数，这些结论全都是如下结果的特例.
定理 1：设 \(\lVert \cdot \rVert _{\alpha_1}, \cdots, \lVert \cdot \rVert _{\alpha_m}\) 是域 \(\mathbf{F}\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上的向量空间 \(V\) 上给定的范数，又令 $\lVert \cdot \rVert $ 是 \(\mathbb{R}^m\) 上一个满足 \(\lVert y \rVert \leqslant \lVert y+z \rVert\)（对所有非负元素的向量 \(y,z \in \mathbb{R}^m\)）的范数. 那么，由 \(f(x)=\lVert [ \lVert x \rVert_{\alpha_1},\cdots, \lVert x \rVert _{\alpha_m}]^T \rVert\) 所定义的函数 \(f\)：\(V \rightarrow \mathbb{R}\) 是 \(V\) 上的一个范数.
定理中关于范数 $\lVert \cdot \rVert $ 的单调性的假设是确保所构造的函数 \(f\) 满足三角不等式所需要的. 每一个 \(l_p\) 范数都有这个单调性. 但是某些范数没有这个性质.
解析性质
在一个实的或者复的向量空间上许多不同的实值函数都能满足范数的公理，对某个给定的目的来说，一个范数有可能比另一个范数更方便或者更合适. 在实际应用中，可以建立起一套理论的范数与在一种给定的情形最容易计算的范数可能并不相同. 这样一来，重要的就是要知晓两个不同的范数之间可能存在的关系. 幸运的是，在有限维的情形下，所有范数在某种加强的意义下都是“等价的”.
分析中一个基本概念是序列的收敛性. 在赋范线性空间中，我们有如下的收敛性定义.
定义 2：设 \(V\) 是有给定范数 $\lVert \cdot \rVert $ 的一个实的或者复的向量空间. 我们称 \(V\) 中一个向量序列 \(\{x^{(k)}\}\) 关于 $\lVert \cdot \rVert $ 收敛于一个向量 \(x \in V\)，当且仅当 \(\lim_{k \rightarrow \infty} \lVert x^{(k)} -x\rVert=0\). 如果 \(\{x^{(k)}\}\) 关于 $\lVert \cdot \rVert $ 收敛于 $x $，我们就写成关于 $\lVert \cdot \rVert $ 有 \(\lim_{k \rightarrow \infty}x^{(k)} =x\).
序列的极限如果存在，就是唯一的，也就是说向量序列不可能收敛于两个不同的极限. 一个向量序列有可能关于一个范数收敛，而关于另一个范数不收敛（这种情况在有限维赋范线性空间中不可能出现）.
引理 3： 设 $\lVert \cdot \rVert $ 是域 \(\mathbf{F}\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上的向量空间 \(V\) 上一个范数，\(m \geqslant 1\) 是一个给定的正整数，\(x^{(1)},x^{(2)},\cdots, x^{(m)} \in V\) 是给定的向量，又对任意的 \(z=[z_1 \cdots z_m]^T \in \mathbf{F}^m\) 定义 \(x(z) = z_1x^{(1)}+ z_2x^{(2)} + \cdots + z_mx^{(m)}\). 那么，由
\begin{align}
g(z) = \lVert x(z) \rVert = \lVert z_1x^{(1)}+ z_2x^{(2)} + \cdots + z_mx^{(m)} \rVert
\end{align}
所定义的函数 \(g\)：\(\mathbf{F}^m \rightarrow \mathbb{R}\) 就是 \(\mathbf{F}^m\) 上关于 Euclid 范数一致连续的函数.
上一个引理中的赋范线性空间 \(V\) 不一定是有限维的. 然而， \(V\) 的有限维度对于下面的基本结果是极其重要的.
定理 4： 设 \(f_1\) 与 \(f_2\) 是域 \(\mathbf{F}\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上一个有限维向量空间 \(V\) 上的实值函数，设 \(\mathscr{B}=\{x^{(1)},\cdots, x^{(n)}\}\) 是 \(V\) 的一组基，又设对所有 \(z=[z_1 \quad \cdots \quad z_n]^T \in \mathbf{F}^n\) 有 \(x(z) = z_1x^{(1)}+ z_2x^{(2)} + \cdots + z_nx^{(n)}\). 假设 \(f_1\) 与 \(f_2\) 是
(a) 正的：对所有 \(x \in V\) 有 \(f_i(x) \geqslant 0\)，又设 \(f_i(x) = 0\) 当且仅当 \(x=0\)
(b) 齐性的：对所有 \(\alpha \in \mathbf{F}\) 以及所有 \(x \in V\) 有 \(f_i(\alpha x) =\lvert \alpha \rvert f_i(x)\)
(c) 连续的：\(f_1(x(z))\) 在 \(\mathbf{F}^n\) 上关于 Euclid 范数是连续的
那么就存在有限的正常数 \(C_m\) 以及 \(C_M\)，使得
\begin{align}
C_m f_1(x) \leqslant f_2(x) \leqslant C_Mf_1(x),\quad \text{对所有}\,\, x \in V
\end{align}
如果一个有限维实的或者复的向量空间上的实值函数满足上述定理陈述的正性、齐性以及连续性这三个假设，它就称为一个准范数. 当然，准范数的最重要的例子是范数，引理 3 是说，每个范数都满足定理 4 中的连续性假设 (c). 满足三角不等式的准范数是范数.
推论 5：设 \(\lVert \cdot \rVert _{\alpha}\) 以及 \(\lVert \cdot \rVert _{\beta}\) 是有限维实的或者复向量空间 \(V\) 上给定的范数. 那么就存在有限的正常数 \(C_m\) 与 \(C_M\)，使得对所有 \(x \in V\) 都有 \(C_m \lVert \cdot \rVert _{\alpha} \leqslant \lVert \cdot \rVert _{\beta} \leqslant C_M \lVert \cdot \rVert _{\alpha}\) .
推论 5 的一个重要的推论是如下事实：有限维复向量空间中向量序列的收敛性与所采用的范数无关.
推论 6： 如果 \(\lVert \cdot \rVert _{\alpha}\) 以及 \(\lVert \cdot \rVert _{\beta}\) 是有限维实的或者复向量空间 \(V\) 上给定的范数. 又如果 \(x^{(k)}\) 是 \(V\) 中一列给定的向量，那么，关于 \(\lVert \cdot \rVert _{\alpha}\) 有 \(\lim_{k \rightarrow \infty}x^{(k)} =x\) 的充分必要条件是：关于 \(\lVert \cdot \rVert _{\beta}\) 有 \(\lim_{k \rightarrow \infty}x^{(k)} =x\).
证明：由于对所有 \(k\) 都有 \(C_m \lVert x^{(k)}-x \rVert _{\alpha} \leqslant \lVert x^{(k)}-x \rVert _{\beta} \leqslant C_M \lVert x^{(k)}-x \rVert _{\alpha}\)，由此推出：当 $k \rightarrow \infty $ 时有 \(\lVert x^{(k)}-x \rVert _{\alpha} \rightarrow 0\) 成立的充分必要条件是当 $k \rightarrow \infty $ 时有 \(\lVert x^{(k)}-x \rVert _{\beta} \rightarrow 0\).
定义 7： 实的或者复向量空间上两个给定的范数称为等价的，如果只要一个向量序列 \(x^{(k)}\) 关于其中一个范数收敛于一个向量 \(x\)，那么它就关于另一个范数也收敛于 \(x\)
推论 6 确保对有限维实或者复向量空间，所有的范数都是等价的. 对无限维向量空间来说，情况是非常不同的.
由于 \(\mathbb{R}^n\) 或 \(\mathbb{C}^n\) 上所有的范数都等价于 \(\lVert \cdot \rVert _{\infty}\)，对给定的一列向量 \(x^{(k)}=[x_i^k]_{i=1}^n\)，关于任何范数都有 \(\lim_{k \rightarrow \infty}x^{(k)} =x\) 的充分必要条件是：对每个 \(i=1,\cdots, n\) 都有 \(\lim_{k \rightarrow \infty}x_i^{(k)} =x_i\). 另一个重要事实是：单位球以及单位球面关于 \(\mathbb{R}^n\) 或 \(\mathbb{C}^n\) 上任意的准范数或者范数永远都是紧的. 由此，在这样一个单位球或者单位球面上的连续的实值或者复值函数都是有界的. 如果它是实值函数的话，它还取到它的最大以及最小值.
推论 8：设 \(V=\mathbf{F}^n\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)），并设 \(f(\cdot)\) 是 \(V\) 上的一个准范数或者范数. 那么集合 \(\{ x：f(x) \leqslant 1 \}\) 与 \(\{ x：f(x) = 1 \}\) 是紧集.
有时我们会遇到确定一个给定的序列 \(x^{(k)}\) 究竟是否收敛这样的问题. 为此，重要的是要有一个收敛的判别法，这个差别法里不明显含有该序列的极限（如果它存在的话）. 如果有这样的一个极限，那么，当 \(k,j \rightarrow \infty\) 时就有
\begin{align}
\lVert x{(k)}-x \rVert = \lVert x{(k)}-x+x-x \rVert \leqslant \lVert x^{(k)}-x \rVert + \lVert x-x^{(j)} \rVert \rightarrow 0
\end{align}
这就是下述定义之动因.
定义 9： 向量空间 \(V\) 中一个序列 \(x^{(k)}\) 称为是关于范数 $\lVert \cdot \rVert $ 的一个 Cauchy 序列，如果对每个 \(\varepsilon >0\)，都存在一个正整数 \(N(\varepsilon)\)，使得只要 \(k_1,k_2 \geqslant N(\varepsilon)\) 就有 \(\lVert x^{(k_1)}-x^{(k_2)} \rVert \leqslant \varepsilon\).
定理 10： 设 \(\lVert \cdot \rVert\) 是有限维实或者复向量空间 \(V\) 上的一个给定的范数，又设 \(x^{(k)}\) 是 \(V\) 中一个给定的向量序列. 序列 \(x^{(k)}\) 收敛于 \(V\) 中一个向量，当且仅当它关于范数 \(\lVert \cdot \rVert\) 是一个 Cauchy 序列.
一个序列是 Cauchy 序列，当且仅当它收敛于某个实的或者复的纯量. 这个结论是实数域或者复数域的一个基本性质. 这个性质称为实数域以及复数域的完备性. 我们刚刚证明了：完备性可以延拓到关于任何范数的有限维实或者复向量空间. 不幸的是，无限维赋范线性空间可能没有完备性.
定义 11：一个赋范线性空间 \(V\) 称为关于它的范数 \(\lVert \cdot \rVert\) 是完备的，如果 \(V\) 中每一个关于 \(\lVert \cdot \rVert\) 是 Cauchy 序列的序列都收敛于 \(V\) 的一个点.
对偶范数
利用 \(\mathbb{R}^n\) 或者 \(\mathbb{C}^n\) 上任何范数或者准范数的单位球都是紧集这一事实，我们可以引进另外一个有用的方法，此外可以利用 Euclid 内积从老的范数生成新的范数.
定义 12： 设 \(f(\cdot)\) 是 \(V=\mathbf{F}^n\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上的一个准范数. 那么函数
\begin{align}
f^D(y) = \max\limits_{f(x)=1} \mathrm{Re} \langle x, y \rangle = \max\limits_ {f(x)=1} \mathrm{Re} \,\,y^*x
\end{align}
称为 \(f\) 的对偶范数.
对偶范数是 \(V\) 上一个具有良好定义的函数，因为对每个固定的 \(y \in V\)，$ \mathrm{Re} \,\,y^*x$ 都是 \(x\) 的连续函数，且集合 \(\{x：f(x)=1\}\) 是紧的. Weierstrass 定理确保 $ \mathrm{Re} \,\,y^*x$ 的最大值能在这个集合中的某个点取到. 对偶范数的一种等价的、有时用起来方便的另一种表达方式是
\begin{align}
f^D(y) = \max\limits_{f(x)=1} \lvert y^*x \rvert = \max\limits_{x \neq 0} \frac{\lvert y^*x \rvert}{f(x)}
\end{align}
函数 \(f^D(\cdot)\) 显然是齐次的. 值得注意的是，即使 \(f(\cdot)\) 不服从三角不等式，\(f^D(\cdot)\) 也总是服从的. 准范数的对偶范数是正的、齐次的，且满足三角不等式，所以它是一个范数. 特别地，范数的对偶范数恒为一个范数. 下面的引理中给出对偶范数的一个简单的不等式，它是 Cauchy-Schwarz 不等式的一个自然的推广.
引理 13： 设 \(f(\cdot)\) 是 \(V=\mathbf{F}^n\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上的一个准范数. 那么对所有 \(x,y \in V\) 我们有
\begin{align}
\lvert y^*x \rvert \leqslant f(x)f^D(y)
\end{align}
以及
\begin{align}
\lvert y^*x \rvert \leqslant f^D(x)f(y)
\end{align}
证明：如果 \(x\neq 0\)，那么
\begin{align}
\lvert y^* \frac{x}{f(x)} \rvert \leqslant \max\limits_{f(x)=1} \lvert y^*x \rvert = f^D(y)
\end{align}
从而 \(\lvert y^*x \rvert \leqslant f(x)f^D(y)\). 当然，这个不等式对 \(x=0\) 也成立. 第二个不等式由第一个推出，这是因为 \(\lvert y^*x \rvert = \lvert x^*y\rvert\).
辨认出与某些熟悉的范数对偶的范数是有益的. 例如
\begin{align}
\lVert \cdot \rVert _1^D = \lVert \cdot \rVert_{\infty}, \quad \lVert \cdot \rVert_{\infty}^D=\lVert \cdot \rVert_1,\quad \lVert \cdot \rVert_2^D = \lVert \cdot \rVert_2
\end{align}
与
\begin{align}
\lVert \cdot \rVert_p^D = \lVert \cdot \rVert_q, \quad \text{其中}\,\, \frac{1}{p} + \frac{1}{q}=1, \quad p \geqslant 1
\end{align}
引理 14： 设 \(f(\cdot)\) 与 \(g(\cdot)\) 是 \(V=\mathbf{F}^n\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上的准范数，又设给定 \(c >0\). 那么
(a) \(cf(\cdot)\) 是 \(V\) 上的准范数，且它的对偶范数是 \(c^{-1}f^D(\cdot)\)；
(b) 如果对所有 \(x\in V\) 都有 \(f(x) \leqslant g(x)\)，那么对所有 \(y \in V\) 都有 \(f^D(y) \geqslant g^D(y)\).
定理 15： 设 \(f(\cdot)\) 与 \(g(\cdot)\) 是 \(V=\mathbf{F}^n\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上的范数，又设给定 \(c>0\). 那么对所有 \(x\in V\) 都有 \(\lVert x \rVert = c\lVert x \rVert ^D\) 成立的充分必要条件是 \(\lVert \cdot \rVert = \sqrt{c}\lVert x \rVert _2\). 特别地，\(\lVert \cdot \rVert = \lVert x \rVert ^D\) 成立的充分必要条件是 \(\lVert x \rVert = \lVert x \rVert _2\).
\(\mathbb{R}^n\) 或者 \(\mathbb{C}^n\) 上的每一个 \(k\) 范数以及每一个 \(l_p\) 范数都具有如下的性质：向量的范数仅与其元素的绝对值有关且还是 \(x\) 的元素的绝对值的非减函数. 这两个性质并非是不相干的.
定义 16： 如果 \(x=[x_i] \in V=\mathbf{F}^n\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)），设 \(\lvert x \rvert = [\lvert x_i \rvert]\) 表示 \(x\) 逐个元素的绝对值. 我们说 \(\lvert x \rvert \leqslant \lvert y \rvert\)，如果对所有 \(i=1,\cdots,n\) 都有 \(\lvert x_i \rvert \leqslant \lvert y_i \rvert\). \(V\) 上的范数称为是
(a)单调的，如果 \(\lvert x \rvert \leqslant \lvert y \rvert\) 蕴含对所有 \(x,y \in V\) 都有 \(\lVert x \rVert \leqslant \lVert y \rVert\)；
(b)绝对的，如果对所有 \(x \in V\) 都有 \(\lVert x \rVert = \lVert \lvert x \rvert \rVert\).
定理 17：设 \(\lVert \cdot \rVert\) 是 \(V=\mathbf{F}^n\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上一个范数.
(a) 如果 \(\lVert \cdot \rVert\) 是绝对的，那么对所有 \(y \in V\) 都有
\begin{align}
\lVert y \rVert ^D = \max\limits_{x \neq 0} \frac{\lvert y \rvert ^T \lvert x \rvert}{\lVert x \rVert}
\end{align}
(b) 如果 \(\lVert \cdot \rVert\) 是绝对的，那么 \(\lVert \cdot \rVert^D\) 是绝对的且是单调的.
(c) 范数 \(\lVert \cdot \rVert\) 是绝对的，当且仅当它是单调的.
证明：(a)假设 \(\lVert \cdot \rVert\) 是绝对的. 对一个给定的 \(y=[y_k] \in \mathbb{C}^n\)，任意的 \(x=[x_k] \in \mathbb{C}^n\) 以及任意的 \(z=[z_k] \in \mathbb{C}^n\)，其中 \(\lvert z \rvert = \lvert x \rvert\)，我们有 \(\lvert y^*z \rvert = \lvert \sum\limits_{k=1}^n \bar{y}_kz_k \rvert \leqslant \sum\limits_{k=1}^n \lvert y_k \rvert \lvert z_k \rvert = \lvert y \rvert^T\lvert z \rvert = \lvert y \rvert^T \lvert x \rvert\)，其中等式对 \(z_k = \mathrm{e}^{\mathrm{i}\theta_k} x_k\) 成立，如果我们选取实参数 \(\theta_1,\cdots, \theta_n\) 使得 \(\mathrm{e}^{\mathrm{i}\theta_k} \bar{y}_kz_k\) 是非负实数. 从而有
\begin{align} \label{e20}
\lVert y \rVert ^D =\max\limits_{x \neq 0} \frac{\lvert y^*x \rvert}{\lVert x \rVert} =\max\limits_{x \neq 0}\max\limits_{\lvert z \rvert = \lvert x \rvert} \frac{\lvert y^*z \rvert}{\lVert z \rVert} =\max\limits_{x \neq 0} \frac{\lvert y \rvert ^T \lvert x \rvert}{\lVert x \rVert}
\end{align}
(b) 如果 \(\lVert \cdot \rVert\) 是绝对的，表达式 \ref{e20} 表明：对所有 \(y \in \mathbb{C}^n\) 都有 \(\lVert y \rVert ^D=\lVert \lvert y \rvert \rVert ^D\). 此外，如果 $ \lvert z \rvert \leqslant \lvert y \rvert$，那么
\begin{align}
\lVert z \rVert ^D = \max\limits_{x \neq 0} \frac{\lvert z \rvert ^T \lvert x \rvert}{\lVert x \rVert} \leqslant \max\limits_{x \neq 0} \frac{\lvert y \rvert ^T \lvert x \rvert}{\lVert x \rVert} = \lVert y \rVert ^D
\end{align}
所以 \(\lVert \cdot \rVert ^D\) 是单调的.
(c) 如果 \(\lVert \cdot \rVert\) 是单调的，且 \(\lvert y \rvert = \lvert x \rvert\)，那么有 \(\lvert y \rvert \leqslant \lvert x \rvert\) 以及 \(\lvert y \rvert \geqslant \lvert x \rvert\)，所以 \(\lVert y \rVert \leqslant \lVert x \rVert\)，\(\lVert y \rVert \geqslant \lVert x \rVert\)，故而 \(\lVert y \rVert = \lVert x \rVert\). 反之，假设 \(\lVert \cdot \rVert\) 是绝对的. 设 \(k \in \{1,\cdots, n \}\) 以及 \(\alpha \in [0,1]\). 那么
\begin{align}
&\quad \lVert [x_1 \quad \cdots \quad x_{k-1} \quad \alpha x_k \quad x_{k+1} \quad \cdots \quad x_n]^T \rVert \notag \\
&= \lVert \frac{1}{2}(1-\alpha) [x_1 \quad \cdots \quad x_{k-1} \quad -x_k \quad x_{k+1} \quad \cdots \quad x_n]^T + \frac{1}{2}(1-\alpha)x + \alpha x \rVert \notag \\
&\leqslant \frac{1}{2}(1-\alpha) \lVert [x_1 \quad \cdots \quad x_{k-1} \quad -x_k \quad x_{k+1} \quad \cdots \quad x_n]^T \rVert + \frac{1}{2}(1-\alpha)\lVert x \rVert + \alpha \lVert x \rVert \notag \\
& = \frac{1}{2}(1-\alpha)\lVert x \rVert + \frac{1}{2}(1-\alpha)\lVert x \rVert + \alpha \lVert x \rVert = \lVert x \rVert \notag
\end{align}
由此推出，对每一个 \(x \in \mathbb{C}^n\) 以及对 \(\alpha_k \in [0,1]\)（ \(k=1,\cdots, n\)）的所有选取都有 \(\lVert [\alpha_1 x_1 \quad \cdots \quad \alpha_n x_n]^T \rVert \leqslant \lVert x \rVert\). 如果 \(\lvert y \rvert \leqslant \lvert x \rvert\)，那么存在 \(\alpha_k \in [0,1]\) 使得 \(\lvert y_k \rvert = \alpha_k \lvert x_k \rvert\)，\(k=1,\cdots, n\)，故而 \(\lVert y \rVert \leqslant \lVert x \rVert\).
应该知道什么
- 从给定的范数出发，可以用若干种方法构造出新的范数
- 在有限维的情形下，所有范数在某种加强的意义下都是等价
- 准范数的对偶范数是范数
