Convex Analysis and Monotone Operator Theory in Hilbert Spaces 3.1-3.2 总结材料

拓扑空间

基本概念

  集合是数学中最基本的概念之一，我们最常见的集合便是 $\mathbb{R}$。$\mathbb{R}$ 中的元素有大小关系，即 $\mathbb{R}$ 上有序结构；$\mathbb{R}$ 中元素之间可以进行各种运算，即 $\mathbb{R}$ 有代数结构；$\mathbb{R}$ 的子集有开集闭集之分，即 $\mathbb{R}$ 上有拓扑结构。一般地，对于集合 $X$，同 $\mathbb{R}$ 一样，我们也可以定义其序结构，代数结构以及拓扑结构。

  下面我们着重介绍其拓扑结构：
  对于集合 $X$，设 $\mathbf{T}$ 是包含 $\mathrm{\varnothing },X$ 且对任意并、有限交封闭的子集族，则 $\mathbf{T}$ 称为集合 $X$ 上的一个拓扑，称 $(X,\mathbf{T})$ 为拓扑空间，$\mathbf{T}$ 中元素称作开集。我们一般研究的拓扑空间为 Hausdroff$(T_2)$ 空间（等价于任意收敛网的极限唯一）：
$\mathrm{\forall }{\mathbf{x}}_1,{\mathbf{x}}_2\in X,{\mathbf{x}}_1\ne {\mathbf{x}}_2,\mathrm{\exists }{V}_1\in \mathcal{V}({\mathbf{x}}_1),V_2\in \mathcal{V}({\mathbf{x}}_2)\text{使得}{V}_1\bigcap V_2=\mathrm{\varnothing }$

  当 $(X,\mathbf{T})$ 为 Hausdroff 空间时我们有如下概念：

• 拓扑基 $\mathbf{B}\mathrm{\forall }\mathbf{x}\in X,V\in \mathcal{V}(\mathbf{x}),\mathrm{\exists }B\in \mathbf{B}$ 使得 $\mathbf{x}\in B\subseteq V$（任意开集均可以写成一族 $\mathbf{B}$ 中元素的并）
• 闭集 开集的补集（集合中的任意收敛网的极限点仍落在该集合中）
• 序列闭集 集合中的任意收敛序列的极限点仍落在该集合中
• $\mathbf{x}$ 的邻域 以包含 $\mathbf{x}$ 的某个开集为子集的集合
• $\mathbf{x}$ 的邻域系 $\mathcal{V}(\mathbf{x})$ $\mathbf{x}$ 的邻域全体
• 网 $({\mathbf{x}}_a{)}_{a\in A}$ 的收敛 $({\mathbf{x}}_a{)}_{a\in A}$ 终在 $\mathbf{x}$ 的任意邻域
• 紧集 任意开覆盖都存在有限子覆盖（集合中的任意网有收敛子网收敛到该集合中某元素）
• 序列紧集 集合中的任意序列有收敛子序列收敛到该集合中某元素
• 函数 $f:X\to \mathbb{R}$ 的连续性 $({\mathbf{x}}_a{)}_{a\in A}\to \mathbf{x}⟹f({\mathbf{x}}_a)\to f(\mathbf{x})$（任意 $\mathbb{R}$ 中的开集由 $f$ 拉回去仍是 $(X,\mathbf{T})$ 中的开集）

  以上各定义由拓扑唯一确定，因而在讨论集合的开闭性和紧性、网的收敛性、函数的连续性时需强调在哪个拓扑下（赋范线性空间中未加强调时默认拓扑是范数诱导拓扑）。在序列空间（序列闭集与闭集等价）中，除序列紧与紧外，其它由网定义的概念均与由序列定义的相应概念等价，如序列连续和连续。值得一提的是，度量空间是特殊的序列空间，此时，序列紧与紧也等价。

定理1.1（Weierstrass）
设 $(X,\mathbf{T})$ 是 Hausdroff 空间，$f:X\to [-\mathrm{\infty },+\mathrm{\infty }]$ 下半连续，$C$ 是 $X$ 的紧子集，且 $C\bigcap \mathrm{dom}f\ne \mathrm{\varnothing }$，则 $f$ 在 $C$ 上下确界可达。
  证明：由 $inff(C)$ 的定义，存在序列 $({\mathbf{x}}_n{)}_{n\in \mathbb{N}}\subseteq C$ 使得 $f({\mathbf{x}}_n)\to inff(C)$。
序列 $({\mathbf{x}}_n{)}_{n\in \mathbb{N}}$ 也为 $C$ 中的网，因而由 $C$ 是紧集得：存在子网 $({\mathbf{x}}_{k(b)}{)}_{b\in B}\to \mathbf{x}\in C$。
因而由 $f$ 的下半连续性有 $f(\mathbf{x})⩽lim inff({\mathbf{x}}_{k(b)})=limf({\mathbf{x}}_{k(b)})=inff(C)$。
又由 $\mathbf{x}\in C$ 有 $f({\mathbf{x}}_{k(b)})\to inff(C)⩽f(\mathbf{x})$。
  综上得，$f(\mathbf{x})=inff(C),\mathbf{x}\in C$，即 $f$ 在 $C$ 上下确界可达。

弱拓扑

  设 $X$ 为一个未定义拓扑结构的集合，而 ${\left\{Y_i\right\}}_{i\in I}$ 为一族拓扑空间。广义的弱拓扑是指使得一族映射 $({\phi }_i:X\to Y_i{)}_{i\in I}$ 连续的最粗拓扑（开集尽可能少）。

  一般来说，弱拓扑指赋范线性空间 $X$ 上使得 $X^{\ast }$ 中元素均连续的最粗拓扑，自然有结论：线性泛函在强弱拓扑下具有相同的连续性。
  为了让 $f\in X^{\ast }$ 连续，只需 $f^{-1}(U)$ 为开集（$U$ 为 $\mathbb{R}$ 中任意开集），对于 $\mathrm{\forall }f\in X^{\ast },{\mathbf{x}}_0\in X,\epsilon >0$，设 $V(f,{\mathbf{x}}_0,\epsilon )=\{\mathbf{x}\in X\mid |f(\mathbf{x}-{\mathbf{x}}_0)|<\epsilon \}=\{\mathbf{x}\in X\mid f({\mathbf{x}}_0)-\epsilon <f(\mathbf{x})<f({\mathbf{x}}_0)+\epsilon \}$，那么弱拓扑 $\sigma (X,X^{\ast })$ 可如下生成：
$\mathbf{B}=\{V(f,{\mathbf{x}}_0,\epsilon )\mid f\in X^{\ast },{\mathbf{x}}_0\in X,\epsilon >0\}\stackrel{\text{有限交}}{⟶}\mathrm{\Phi }\stackrel{\text{任意并}}{⟶}\sigma (X,X^{\ast }).$
即 $\mathbf{B}$ 为弱拓扑 $\sigma (X,X^{\ast })$ 的拓扑子基，$\mathrm{\Phi }$ 为拓扑基，由此可见无穷维空间的弱开集一定无界。特别地，在实 Hilbert 空间 $\mathcal{H}$ 中，开半空间的有限交全体构成了弱拓扑 ${\mathcal{H}}^{weak}$ 的拓扑基。

引理1.2 ${\mathcal{H}}^{weak}$ 是 Hausdroff 空间。
  证明：假设 $\mathbf{x},\mathbf{y}$ 是 $\mathcal{H}$ 中不同的任意两点，令 $u=x-y,w=(x+y)/2$，易知 $\{z\in \mathcal{H}\mid ⟨z-w\mid u⟩>0\}$ 和 $\{z\in \mathcal{H}\mid ⟨z-w\mid u⟩<0\}$ 分别是 $\mathbf{x}$ 和 $\mathbf{y}$ 的不交弱开邻域，结论证毕。

  注. 拓扑的强弱是相对的，一般指相对于范数诱导的拓扑。拓扑越粗（弱），开集越少，紧集越多，函数越不容易连续。对于有限维赋范线性空间，线性泛函必然连续，所以强拓扑（范数诱导拓扑）与弱拓扑等价。

  接下来介绍几种收敛性的定义：

• 强收敛 $\Vert {\mathbf{x}}_n-\mathbf{x}\Vert \to 0\text{记作}{\mathbf{x}}_n\to \mathbf{x}\{{\mathbf{x}}_n\}\subseteq X,\mathbf{x}\in X,X$ 为赋范线性空间。
• 弱收敛 $\mathrm{\forall }f\in X^{\ast }:f({\mathbf{x}}_n)\to f(\mathbf{x})\text{记作}{\mathbf{x}}_n\stackrel{\text{弱}}{⟶}\mathbf{x}\{{\mathbf{x}}_n\}\subseteq X,\mathbf{x}\in X.$
• 弱 $\ast$ 收敛 $\mathrm{\forall }\mathbf{x}\in X:f_n(\mathbf{x})\to f(\mathbf{x})\text{记作}{f}_n\stackrel{\text{弱}\ast }{⟶}f\{f_n\}\subseteq X^{\ast },f\in X^{\ast }.$

   由此可见，我们可以在 $X^{\ast }$ 中讨论三种收敛性，对应三个拓扑：

• 强收敛 $\Vert f_n-f\Vert ⟹0\text{记作}{f}_n\to f$
• 弱收敛 $\mathrm{\forall }T\in X^{\ast \ast }:T(f_n)\to T(f)\text{记作}{f}_n\stackrel{\text{弱}}{⟶}f$·
• 弱 $\ast$ 收敛 $\mathrm{\forall }\mathbf{x}\in X:f_n(\mathbf{x})\to f(\mathbf{x})\text{记作}{f}_n\stackrel{\text{弱}\ast }{⟶}f$

  在等距同构的意义下，可以将 $X$ 与 $X^{\ast \ast }$ 的一个子空间同等看待，因而弱收敛 $⟹$ 弱 $\ast$ 收敛。特别地，当 $X$ 自反时，弱收敛与弱 $\ast$ 收敛等价。

半连续

定义1.3 设 $(X,\mathbf{T})$ 为 Hausdroff 空间，$f:X\to [-\mathrm{\infty },+\mathrm{\infty }]$，若对任意的网 $({\mathbf{x}}_a{)}_{a\in A}\subseteq X,{\mathbf{x}}_a\to \mathbf{x}$ 有 $f(\mathbf{x})⩽lim inff({\mathbf{x}}_a)$，那么称 $f$ 在 $\mathbf{x}$ 处下半连续。

  上半连续函数可类似定义，事实上，$f$ 下半连续 $⟺\mathrm{epi}f\text{闭}⟺{\mathrm{lev}}_{⩽\xi }\text{闭}$。直观来看，$f$ 下半连续即在间断点 $\mathbf{x}$ 处函数值不比最小极限点大。特别地，对于 $f:\mathbb{R}\to \mathbb{R}$ 有图如下：

引理1.4 设 $\mathcal{H}$ 是实 Hilbert 空间，则其范数弱下半连续。
  证明：在 $\mathcal{H}$ 中任取网 $({\mathbf{x}}_a{)}_{a\in A}\stackrel{\text{弱}}{⟶}\mathbf{x}\in \mathcal{H}$，由 Cauthy-Schwarz 不等式得

$$\Vert \mathbf{x}{\Vert }^2=lim\left|⟨{\mathbf{x}}_a\mid \mathbf{x}⟩\right|⩽lim inf\Vert {\mathbf{x}}_a\Vert \Vert \mathbf{x}\Vert \text{使得}\stackrel{\Vert \mathbf{x}\Vert \ne 0}{⟹}\Vert \mathbf{x}\Vert ⩽lim inf\Vert {\mathbf{x}}_a\Vert .$$

  当 $\Vert \mathbf{x}\Vert \ne 0$ 时 $\Vert \mathbf{x}\Vert ⩽lim inf\Vert {\mathbf{x}}_a\Vert$ 显然成立，结论证毕。

命题1.5 假设 $C$ 是 Hilbert 空间 $\mathcal{H}$ 的非空弱闭子集，那么 $C$ 可邻近。
  证明：设 $x\in \mathcal{H},z\in C$，令 $D=C\cap \overline{B(x,\Vert x-z\Vert )}$ 非空，则由投影的定义只需证 $f:\mathcal{H}\mapsto \mathbb{R}y\mapsto \Vert x-y\Vert$ 在 $D$ 上下确界可达。
  由题知，$C$ 为空间 $\mathcal{H}$ 的非空弱闭子集，也即 $C$ 为空间 ${\mathcal{H}}^{weak}$ 的非空闭子集，又 $\overline{B(x,\Vert x-z\Vert )}$ 为空间 ${\mathcal{H}}^{weak}$ 的紧子集，由引理（${\mathcal{H}}^{weak}$ 为 Hausdroff 空间），引理（ Hausdroff 空间的紧子集是闭集，紧子集的闭子集是紧集）知 $D$ 为空间 ${\mathcal{H}}^{weak}$ 上的紧子集。
  由引理（范数在空间 ${\mathcal{H}}^{weak}$ 中下半连续）和 Weierstrass 定理（ Hausdroff 空间的下半连续函数在紧集上下确界可达）即得结论。

  注： 本命题证明的关键是使用 Weierstrass 定理，因而要求在某一 $T_2$ 空间中闭范数球 $\overline{B(x,\Vert x-z\Vert )}$ 是紧集且 $C$ 是闭集。在有限维赋范线性空间中有界闭集与紧集（范数诱导拓扑）等价，但在无穷维 Hausdroff 空间中，紧集必定是有界闭集，反之则不成立。特别地，闭范数球不再是紧集，因而在无穷维赋范线性空间中闭集不再是可邻近的充分条件。为了让闭范数球紧，需要引入更多的紧集，因而需要更少的开集，即需要更弱的拓扑，而无穷维 Hilbert 空间在弱拓扑下闭范数球是紧集，所以此时可邻近的充分条件需强化为弱拓扑下闭，即弱闭。

仿射算子与线性算子

• 仿射算子 $T:X\to Y\mathrm{\forall }\mathbf{x}\in X,\mathbf{y}\in X,\lambda \in \mathbb{R}$ 有 $T(\lambda \mathbf{x}+(1-\lambda )\mathbf{y})=\lambda T\mathbf{x}+(1-\lambda )T\mathbf{y}.$
• 线性算子 $T:X\to Y\mathrm{\forall }\mathbf{x}\in X,\mathbf{y}\in X,\alpha \in \mathbb{R}$ 有 $T(\alpha \mathbf{x}+\mathbf{y})=\alpha T\mathbf{x}+T\mathbf{y}.$
  其中，$X,Y$ 为实线性空间。显然，线性算子必定为仿射算子。

  实际上，若 $T$ 为仿射算子，则 $T\mathbf{x}-T0$ 为线性算子，即仿射算子实质为线性算子加偏置项 $T0$，这与仿射子空间 $T(X)=\underset{―}{T(X)-T0}+T0$ 相吻合（$T(X)-T0$ 为线性子空间）。

Hilbert 直和空间

定义3.1 设 $I$ 为全序指标集，实 Hilbert 空间族 $({\mathcal{H}}_{\mathcal{i}}\mathcal{,}\Vert \cdot {\Vert }_{\mathcal{i}}{)}_{i\in I}$ 的 Hilbert 直和空间为

$$\underset{i\in I}{⨁}{\mathcal{H}}_i=\{\mathbf{x}=\left(x_i\right)\ast i\in I\in \underset{i\in I}{\times }\mathcal{H}\ast i\mid \sum _{i\in I}{\Vert x_i\Vert }_i^2<+\mathrm{\infty }\}.$$

其中，$\mathbf{x}+\mathbf{y}=(x_i+y_i{)}_{i\in I},\alpha \mathbf{x}=(\alpha x_i{)}_{i\in I},(\mathbf{x},\mathbf{y})=\sum _{i\in I}(x_i,y_i{)}_i,\underset{i\in I}{\times }{\mathcal{H}}_i=\{{\left(x_i\right)}_{i\in I}\mid x_i\in {\mathcal{H}}_i\}$ 表示 $({\mathcal{H}}_i,\Vert \cdot {\Vert }_i{)}_{i\in I}$ 的笛卡尔乘积集合。特别地，当 $I$ 为有限集时，$\sum _{i\in I}{\Vert x_i\Vert }_i^2<+\mathrm{\infty }$ 恒成立，此时，可将 $\underset{i\in I}{⨁}{\mathcal{H}}_i$ 写作 $\underset{i\in I}{\times }{\mathcal{H}}_i$。

  注: 指标集 $I$ 要求全序是为了使 $\sum _{i\in I}{\Vert x_i\Vert }_i^2$ 良定义。

赋范线性空间

自反性与凸性

  设 $X$ 为赋范线性空间，则 $X$ 上有界线性泛函全体称为 $X$ 的共轭（对偶）空间，记为 $X^{\ast }$，其二次共轭空间记为 $X^{\ast \ast }$。定义典型映射 $J:X\to X^{\ast \ast }$：给定 $\mathbf{x}\in X,J\mathbf{x}$ 为映射 $f\mapsto f(\mathbf{x})$，即 $⟨J\mathbf{x},f⟩=⟨f,\mathbf{x}⟩$，因而 $J$ 是线性的且保度量，即 $\Vert J\mathbf{x}{\Vert }_{X^{\ast \ast }}=\Vert \mathbf{x}{\Vert }_X$。若 $J(X)=X^{\ast \ast }$ 则称 $X$ 为自反空间[1]。

  注： 并不是 $X$ 只要满足 $X\cong X^{\ast \ast }$ 就是自反空间，这里的保范同构必须是典型映射，事实上，存在同构于其二次共轭空间的非自反空间，即所谓的 James 空间。

• 严格凸空间 单位范数球严格凸$(\mathrm{\forall }\Vert \mathbf{x}\Vert =\Vert \mathbf{y}\Vert =1,x\ne y,\alpha \in (0,1),\text{有}\Vert \alpha \mathbf{x}+(1-\alpha )\mathbf{y}\Vert <1)$
• 一致凸空间 $\mathrm{\forall }0<\epsilon <2,\mathrm{\exists }\delta (\epsilon )>0,$ 使得 $\mathrm{\forall }\Vert \mathbf{x}\Vert =\Vert \mathbf{y}\Vert =1,\Vert \mathbf{x}-\mathbf{y}\Vert ⩾\epsilon ,\text{有}\Vert \frac{\mathbf{x}+\mathbf{y}}{2}\Vert ⩽1-\delta (\epsilon ).$
• 一致凸 $⟹$ 自反$$一致凸 $⟹$ 严格凸
• 自反空间 $(X,\Vert \cdot \Vert )$ 总可以在其上定义一个等价范数 $\Vert \cdot {\Vert }_{\ast }$ 使得 $(X,\Vert \cdot {\Vert }_{\ast })$ 严格凸
  注： Hilbert 空间一致凸且严格凸，此时

$$\Vert \mathbf{x}+\mathbf{y}\Vert =\Vert \mathbf{x}\Vert +\Vert \mathbf{y}\Vert ⟺\mathbf{y}=\alpha \mathbf{x}\text{或}\mathbf{x}=\alpha \mathbf{y},\alpha ⩾0.$$

共轭算子

定义4.1 设 $T$ 是赋范线性空间 $X$ 到赋范线性空间 $Y$ 的有界线性算子, 如果有 $Y^{\ast }$ 到 $X^{\ast }$ 的算子 $T^{\ast }$ 使得对任意 $h\in Y^{\ast },x\in X$，有

$$\left(T^{\ast }h\right)(x)=h(Tx)$$

那么称 $T^{\ast }$ 是 $T$ 的共轭算子（伴随算子）。

  注： 当 $X,Y$ 为 Hilbert 空间时，$X,Y$ 分别与 $X^{\ast },Y^{\ast }$ 同构，此时有界线性算子 $T\in \mathcal{B}(X,Y)$ 的唯一共轭算子 $T^{\ast }\in \mathcal{B}(Y,X)$ 满足

$$(\mathrm{\forall }x\in X)(\mathrm{\forall }y\in Y)⟨Tx\mid y⟩=⟨x\mid T^{\ast }y⟩.$$

$\mathrm{ran}\mathrm{T}$ 闭的等价条件

  完备性用来描述度量空间的性质，如果度量空间 $X$ 的任意cauthy序列均收敛，那么称 $X$ 是完备度量空间。闭性用来描述拓扑空间中的子集的性质，在度量空间 $X$ 中，如果 $C\subseteq X$ 的任意收敛序列的极限点仍在 $C$ 中，那么称 $C$ 是 $X$ 中的闭集。

  注： 当 $X$ 是完备度量空间时，$X$ 的线性子空间 $V$ 完备当且仅当 $V$ 是闭集。

命题4.2 设 $X,Y$ 是赋范线性空间，$A:X\to Y$ 是线性算子，那么 $A$ 是单射且定义在 $R(A)$ 上的算子 $A^{-1}$ 是连续的当且仅当存在常数 $m>0$ 使得 $\Vert A\mathbf{x}\Vert ⩾m\Vert \mathbf{x}\Vert ,\mathrm{\forall }\mathbf{x}\in X$。
  证明：先证充分性，显然 $A\mathbf{x}=0$ 蕴含 $\mathbf{x}=0$，故 $A$ 是单射，从而 $A^{-1}$ 是定义在 $R(A)$ 上的线性映射。设 $\mathbf{y}=A\mathbf{x}$，则 $\mathbf{x}=A^{-1}\mathbf{y}$. 由假设 $\Vert \mathbf{y}\Vert ⩾m\Vert A^{-1}\mathbf{y}\Vert$ 足见 $A^{-1}$ 是有界的。
  条件还是必要的，否则，对每个正整数 $n$，有 ${\mathbf{x}}_n\in X$ 使得

$$\Vert A{\mathbf{x}}_n\Vert <\frac{1}{n}\Vert {\mathbf{x}}_n.$$

设 ${\mathbf{y}}_n=A{\mathbf{x}}_n,$ 则

$$\Vert y_n\Vert <\frac{1}{n}\Vert A^{-1}{y}_n\Vert .$$

可见 $A^{-1}$ 不是有界的，与假设 $A^{-1}$ 连续矛盾，故必要性成立。

定理4.3（逆算子定理[2]）设 $X,Y$ 是 Banach 空间，$T\in \mathcal{B}(X,Y)$，如果 $T$ 是双射，则 $T^{-1}$ 连续。

命题4.4 设 $\mathcal{H},\mathcal{K}$ 为实 Hilbert 空间，$T\in \mathcal{B}(\mathcal{H},\mathcal{K})$，则 $\mathrm{ran}T$ 是闭线性子空间 $⟺$ 存在常数 $m>0$ 使得 $\Vert T\mathbf{x}\Vert ⩾m\Vert \mathbf{x}\Vert ,\mathrm{\forall }\mathbf{x}\in (\ker T{)}^{\perp }$。
  证明：已知 $T\in \mathcal{B}(\mathcal{H},\mathcal{K})$，$(\ker T{)}^{\perp }$ 为 Hilbert 空间 $\mathcal{H}$ 的闭线性子空间，因而完备，即 $(\ker T{)}^{\perp }$ 为 Hilbert 空间，故将 $T$ 限制在 $(\ker T{)}^{\perp }$ 上易得 $\tilde{T}\triangleq T{\mid }_{(\ker T{)}^{\perp }}\in \mathcal{B}((\ker T{)}^{\perp },\mathrm{ran}T)$ 且 $\tilde{T}$ 为双射（设 ${\mathbf{x}}_1,{\mathbf{x}}_2\in (\ker T{)}^{\perp },\tilde{T}{\mathbf{x}}_1=\tilde{T}{\mathbf{x}}_2$，则 ${\mathbf{x}}_1-{\mathbf{x}}_2\in (\ker T{)}^{\perp }\cap (\ker T)=0$，即 ${\mathbf{x}}_1={\mathbf{x}}_2$，故 $\tilde{T}$ 为单射）。
  由命题 4.2 我们只需证

$$\mathrm{ran}T\text{闭}⟺{\tilde{T}}^{-1}\text{连续}$$

必要性：$\mathrm{ran}T$ 是闭线性子空间时，我们有 $\mathrm{ran}T$ 为 Hilbert 空间，由定理 4.3 即得 ${\tilde{T}}^{-1}$ 连续。
充分性：${\tilde{T}}^{-1}$ 连续时我们有 ${\tilde{T}}^{-1}\in \mathcal{B}(\mathrm{ran}T,(\ker T{)}^{\perp })$，由于 $(\ker T{)}^{\perp }$ 为闭集，由算子连续的性质得 $({\tilde{T}}^{-1}{)}^{-1}(\ker T{)}^{\perp })=\mathrm{ran}T$ 为闭集。

低秩逼近

定理5.1（von Neumann[3]）设 $A,B\in {\mathbb{C}}^{m\times n}$，它们分别有奇异值 ${\alpha }_1⩾\cdots ⩾{\alpha }_n⩾0$ 和 ${\beta }_1⩾\cdots ⩾{\beta }_n⩾0$，则

$$\underset{\begin{array}{c}\text{酉矩阵}U\in {\mathbb{C}}^{m\times m},\text{酉矩阵}V\in {\mathbb{C}}^{n\times n}\end{array}}{max}\mathrm{Re}\mathrm{tr}\left(UAV{B}^H\right)=\sum _{i=1}^n{\alpha }_i{\beta }_i.$$

例5.2（Eckart–Young）设 $\mathcal{H}$ 是矩阵空间 ${\mathbb{R}}^{M\times N},m=min\{M,N\}$，其上内积定义为 $<A,B>=\mathrm{tr}(A^{T}B)$（内积诱导范数为 $F$ 范数），$C=\{A\in \mathcal{H}\mid \mathrm{rank}A⩽q<m\}$，那么 $C$ 为可邻近集。具体来说，设 $A\in \mathcal{H}$ 满足 $\mathrm{rank}A=r>q$ 并有奇异值分解 $A=U\mathrm{\Sigma }{V}^T,U\in {\mathbb{R}}^{M\times M}\text{和}V\in {\mathbb{R}}^{N\times N}$为正交矩阵，${\sigma }_1(A)⩾\cdots ⩾{\sigma }_r(A)>{\sigma }_{r+1}(A)=\cdots ={\sigma }_m(A)=0$ 是 $A$ 的奇异值，则 $P=U{\mathrm{\Sigma }}_q{V}^T$ 是 $A$ 到 $C$ 的投影，其中 ${\mathrm{\Sigma }}_q=\mathrm{Diag}({\sigma }_1(A),\dots ,{\sigma }_q(A),0,\dots ,0)$，投影唯一当且仅当 ${\sigma }_{q+1}(A)\ne {\sigma }_q(A)$。
  证明：设 $B\in C$ 且有奇异值分解 $B=U_1{\mathrm{\Sigma }}_1{V}_1^T,U_1\in {\mathbb{R}}^{M\times M}\text{和}{V}_1\in {\mathbb{R}}^{N\times N}$ 为正交矩阵，${\sigma }_1(B)⩾\cdots ⩾{\sigma }_q(B)⩾{\sigma }_{q+1}(B)=\cdots ={\sigma }_m(B)=0$ 为其奇异值，那么由定理 5.1 有

$$\begin{array}{rl}& \underset{B\in C}{min}\Vert A-B{\Vert }_F^2\\ =& \underset{B\in C}{min}\Vert A{\Vert }_F^2+\Vert B{\Vert }_F^2-2\mathrm{tr}(A^{T}B)\\ =& \underset{{\sigma }_i(B)}{min}\underset{U_1,V_1}{min}\sum _{i=1}^r{\sigma }_i^2(A)+\sum _{i=1}^r{\sigma }_i^2(B)-2\mathrm{tr}(A^T{U}_1{\mathrm{\Sigma }}_1{V}_1^T)\\ =& \underset{{\sigma }_i(B)}{min}\sum _{i=1}^r{\sigma }_i^2(A)+\sum _{i=1}^r{\sigma }_i^2(B)-2\sum _{i=1}^r{\sigma }_i(A){\sigma }_i(B)\\ =& \underset{{\sigma }_i(B)}{min}\sum _{i=1}^r({\sigma }_i(A)-{\sigma }_i(B){)}^2\end{array}$$

  易验证取得最小值时 $U_1=U,V_1=V$，又有 ${\sigma }_1(B)⩾\cdots ⩾{\sigma }_q(B)⩾{\sigma }_{q+1}(B)=\cdots ={\sigma }_m(B)=0$，所以取得最小值时 ${\sigma }_i(B)$ 需满足

$$(\mathrm{\forall }i\in \{1,\dots ,m\}){\sigma }_i(B)=\{\begin{array}{ll}{\sigma }_i(A),& 1⩽i⩽q,\\ 0,& q+1⩽i⩽m.\end{array}$$

至此我们证明了 $P=U{\mathrm{\Sigma }}_q{V}^T$ 是 $A$ 到 $C$ 的投影，其中 ${\mathrm{\Sigma }}_q=\mathrm{Diag}({\sigma }_1(A),\dots ,{\sigma }_q(A),0,\dots ,0)$，因为不同奇异值对应不同的奇异向量，所以投影唯一当且仅当 ${\sigma }_{q+1}(A)\ne {\sigma }_q(A)$。

凸包的等价定义

命题6.1 设 $C\subseteq \mathcal{H},D$ 是 $C$ 中任意有限个点的凸组合全体组成的集合，即

$$D=\{\sum _{i=1}^n{\alpha }_i{x}_i\mid x_i\in C,{\alpha }_i\in (0,1),i=1,2,\cdots ,n,\sum _{i=1}^n{\alpha }_i=1\}$$

那么 $D=\mathrm{conv}C$。

  为了证明命题 6.1 , 我们先证如下引理：

引理6.2 设 $C\subseteq \mathcal{H}$ 是凸集，那么 $C$ 中任意有限个点的凸组合仍在 $C$ 中，即

$$\mathrm{\forall }{x}_i\in C,{\alpha }_i\in (0,1),i=1,2,\cdots ,n,\sum _{i=1}^n{\alpha }_i=1,\sum _{i=1}^n{\alpha }_i{x}_i\in C.$$

  证明：使用数学归纳法：当 $n=2$ 时由定义显然成立;
  假设 $n=k$ 时结论成立，即 $\mathrm{\forall }{x}_i\in C,{\alpha }_i\in (0,1),i=1,2,\cdots ,k,\sum _{i=1}^k{\alpha }_i=1,\sum _{i=1}^k{\alpha }_i{x}_i\in C;$
  那么 $n=k+1$ 时,$\mathrm{\forall }{x}_i\in C,{\alpha }_i\in (0,1),i=1,2,\cdots ,k+1,\sum _{i=1}^{k+1}{\alpha }_i=1,$ 我们有

$$\sum _{i=1}^{k+1}{\alpha }_i{x}_i=\sum _{i=1}^k{\alpha }_i{x}_i+{\alpha }_{k+1}{x}_{k+1}=\underset{―}{(1-{\alpha }_{k+1})}\sum _{i=1}^k\frac{{\alpha }_i}{1-{\alpha }_{k+1}}{x}_i+\underset{―}{{\alpha }_{k+1}}{x}_{k+1}.$$

观察到 $\sum _{i=1}^k\frac{{\alpha }_i}{1-{\alpha }_{k+1}}=\frac{{\alpha }_1+\cdots +{\alpha }_k}{1-{\alpha }_{k+1}}=1,$ 由假设知 $\sum _{i=1}^k\frac{{\alpha }_i}{1-{\alpha }_{k+1}}{x}_i\in C,$ 又有 $1-{\alpha }_{k+1}+{\alpha }_{k+1}=1,x_{k+1}\in C,$ 由凸集的定义得 $\sum _{i=1}^{k+1}{\alpha }_i{x}_i\in C$。

  接下来我们证明命题 6.1 :
  证明：先证 $\mathrm{conv}C\subseteq D,$ 由定义知 $\mathrm{conv}C$ 是包含 $C$ 的最小凸集，因而只需证 $D$ 为凸集。$\mathrm{\forall }x,y\in D,x=\sum _{i=1}^n{\alpha }_i{x}_i,y=\sum _{i=1}^m{\beta }_i{y}_i,\sum _{i=1}^n{\alpha }_i=\sum _{i=1}^m{\beta }_i=1,x_i,y_i\in C,$ 我们有

$$\mathrm{\forall }\alpha \in (0,1),\alpha x+(1-\alpha )y=\alpha \sum _{i=1}^n{\alpha }_i{x}_i+(1-\alpha )\sum _{i=1}^m{\beta }_i{y}_i=\sum _{i=1}^n\alpha {\alpha }_i{x}_i+\sum _{i=1}^m(1-\alpha ){\beta }_i{y}_i$$

又有 $\sum _{i=1}^n\alpha {\alpha }_i+\sum _{i=1}^m(1-\alpha ){\beta }_i=\alpha +1-\alpha =1,$ 由 $D$ 的定义得 $\alpha x+(1-\alpha )y\in D,$ 即证 $D$ 是凸集。
  接下来证明 $D\subseteq \mathrm{conv}C，\mathrm{\forall }x=\sum _{i=1}^n{\alpha }_i{x}_i,x_i\in C\subseteq \mathrm{conv}C,\sum _{i=1}^n{\alpha }_i=1,x\in D,$ 又 $\mathrm{conv}C$ 为凸集，由引理 6.2 得 $x\in \mathrm{conv}C$。

投影算子的连续性

命题7.1 假设 $\mathcal{H}$ 为有限维 Hilbert 空间，$C$ 是 $\mathcal{H}$ 的 Chebyshev 子集，那么 $P_C$ 连续。
  证明：要证 $P_C$ 连续，只需证 $x_n,x\in \mathcal{H},x_n\to x⟹P_C{x}_n\to P_{C}x$。
  由例 1.48 知 $d_C(x)=infd(x,C)=\Vert x-P_{C}x\Vert$ 连续 $,$ 所以 $d_C\left(x_n\right)\to d_C(x),$ 即 $\Vert x_n-P_C{x}_n\Vert \to \Vert x-P_{C}x\Vert$。由 $\mathbb{R}$ 上收敛序列的有界性知，存在 $M,N>0$ 使得 $\Vert x_n-P_C{x}_n\Vert ⩽M,\Vert x_n\Vert ⩽N$（由范数的连续性，$\Vert x_n\Vert \to \Vert x\Vert$），继而由范数的三角不等式得

$$\Vert P_C{x}_n\Vert =\Vert P_C{x}_n-x_n+x_n\Vert ⩽\Vert P_C{x}_n-x_n\Vert +\Vert x_n\Vert ⩽M+N.$$

即 $\{P_C{x}_n{\}}_{n\in \mathbb{N}}\subseteq C$ 为有界集，又 $\mathcal{H}$ 为有限维 Hilbert 空间，因而 $\{P_C{x}_n{\}}_{n\in \mathbb{N}}\subseteq C$ 列紧，所以存在收敛子列 $P_C{x}_{k_n}\to y$。
  事实上，$P_C{x}_{k_n}\to y$ 为闭集 $C$ 上收敛序列，因而 $y\in C$。由范数的连续性得 $\Vert x_{k_n}-P_C{x}_{k_n}\Vert \to \Vert x-y\Vert =\Vert x-P_{C}x\Vert$，进而由 $P_C$ 的定义得 $y=P_{C}x,$ 又 $C$ 是 $\mathcal{H}$ 的 Chebyshev 子集，所以 $y$ 是 $P_C{x}_n$ 的唯一聚点，加之 $\{P_C{x}_n{\}}_{n\in \mathbb{N}}\subseteq C$ 为有界序列，因而 $P_C{x}_n\to y=P_{C}x$。

参考文献

[1] 张世清. 泛函分析及其应用. 科学出版社, 2018.
[2] 江泽坚，孙善利. 泛函分析 [第二版](M). 高等教育出版社, 2005.
[3] 孙继广. 矩阵扰动分析. 第 2 版 [M]. 科学出版社, 2001.