凸优化：凸集

凸优化是通信中常见的数学工具，本文主要总结《凸优化》一书中凸集章节的概念，并做简要注解。

仿射集合和凸集#

1. 直线和线段：$y={\theta}x_{1}+(1-{\theta})x_{2} = x_{2} + {\theta}(x_{1}-x_{2}), x_{1}{\;\neq\;}x_{2}$
   • 直线：${\theta}{\;\in\;}\mathbb{R}$。
   • 线段：${\theta}{\;\in\;}[0,1]$。
2. 仿射集合：
   • 仿射集合：若对于$\forall x_{1},x_{2}{\;\in\;}C, {\theta}{\;\in\;}\mathbb{R}$，有${\theta}x_{1}+(1-{\theta})x_{2}{\;\in\;}C$，则称集合$C$是仿射的。
   • 仿射组合：若${\theta}_{1}+{\theta}_{2}+{\dots}+{\theta}_{k}=1$，则称具有${\theta}_{1}x_{1}+{\theta}_{2}x_{2}+{\dots}+{\theta}_{k}x_{k}$形式的点为$x_{1}, x_{2}, {\dots}, x_{k}$的仿射组合。一个仿射集合包含其中任意点的仿射组合。
   • 仿射集合关联的子空间：$V=C-x_{0}$，其中，$x_{0}$为$C$中的任意元素。仿射集合$C$的维数为仿射集合关联的子空间维数。
   • 线性方程组的解集是仿射集合，任意仿射集合均可以表示为一个线性方程组的解集。
     • 若$C$为仿射集合，则仿射集合$C$关联子空间的正交补中元素可以构造系数矩阵$A$，使得$Av=0, \forall v{\;\in\;}V$。因此，对于集合$C$中任意元素$x{\;\in\;}C$，有$Ax=A(v+x_{0})=Ax_{0}{\;\triangleq\;}b$，即$C=\{x \mid Ax=b\}$是一个线性方程组的解集。
     • 若集合$C=\{x \mid Ax=b\}$是一个线性方程组的解集，任选$x_{1}, x_{2}{\;\in\;}C$满足$Ax_{1}=b$且$Ax_{2}=b$，任选${\theta}{\;\in\;}\mathbb{R}$，则仿射组合$x={\theta}x_{1}+(1-{\theta})x_{2}$满足$Ax={\theta}Ax_{1}+(1-{\theta})Ax_{2}={\theta}b+(1-{\theta})b=b$，即$x{\;\in\;}C$，集合$C$为仿射集合。
   • 仿射包：由集合$C{\;\subseteq\;}\mathbb{R}^{n}$中的点的所有仿射组合组成的集合为$C$的仿射包，记为$\mathbf{aff}\;C$。
   • 仿射包是包含$C$的最小仿射集合，即：若$S$是满足$C{\;\subseteq\;}S$的仿射集合，则$\mathbf{aff}\;C{\;\subseteq\;}S$。
3. 仿射维数与相对内部：
   • 仿射维数：集合$C$的仿射维数定义为其仿射包的维数。
   • 相对内部：集合$C$的相对内部为$\mathbf{aff}\;C$的内部，记为$\mathbf{relint}\;C$，即$\mathbf{relint}\;C=\{ x{\;\in\;}C \mid B(x, r) {\;\cap\;} \mathbf{aff}\;C \;\text{for some}\; r>0 \}$，其中，$B(x, r)=\{ y \mid \| y - x \| {\;\leq\;} r \}$。容易得到，所有范数都定义了相同的相对内部。
   • 相对边界：集合$C$的相对边界为$\mathbf{cl}\;C \;{\backslash}\; \mathbf{relint}\;C$，其中，$\mathbf{cl}\;C$为集合$C$的闭包。
4. 凸集：
   • 凸集：若对于$\forall x_{1},x_{2}{\;\in\;}C, {\theta}{\;\in\;}[0,1]$，有${\theta}x_{1}+(1-{\theta})x_{2}{\;\in\;}C$，则称集合$C$是凸集。
   • 凸组合：若${\theta}_{1}+{\theta}_{2}+{\dots}+{\theta}_{k}=1$，且${\theta}_{i}{\;\in\;}[0,1], i=1,2,{\dots},k$，则称具有${\theta}_{1}x_{1}+{\theta}_{2}x_{2}+{\dots}+{\theta}_{k}x_{k}$形式的点为$x_{1}, x_{2}, {\dots}, x_{k}$的凸组合。
   • 一个凸集包含其中任意点的凸组合。
   • 凸包：由集合$C{\;\subseteq\;}\mathbb{R}^{n}$中的点的所有凸组合组成的集合为$C$的凸包，记为$\mathbf{conv}\;C$。
   • 凸包是包含$C$的最小凸集，即：若$S$是满足$C{\;\subseteq\;}S$的凸集，则$\mathbf{conv}\;C{\;\subseteq\;}S$。
5. 锥：
   • 锥：若对于$\forall x{\;\in\;}C, {\theta}{\;\geq\;}0$，有${\theta}x{\;\in\;}C$，则称集合$C$是锥或非负齐次。如果集合$C$是锥，且是凸的，则称集合$C$是凸锥。
   • 锥组合/锥包的定义与仿射集合/仿射包和凸集/凸包类似。
   • 集合$C$是凸锥的充要条件是集合$C$包含其元素的所有锥组合。

例子#

1. 超平面与半空间：
   • 超平面：$\{ x \mid a^{T}x=b \}$，其中$a{\;\in\;}\mathbb{R}, a{\;\neq\;}0$且$b{\;\in\;}\mathbb{R}$，超平面是仿射集合。超平面由偏移$x_{0}$加上所有正交于法向量$a$的向量构成，其中$a^{T}x_{0}=b$。
   • 半空间：$\{ x \mid a^{T}x{\;\leq\;}b \}$，其中$a{\;\in\;}\mathbb{R}, a{\;\neq\;}0$且$b{\;\in\;}\mathbb{R}$，半空间是凸集，但不是仿射集合。
   • 开半空间：$\{ x \mid a^{T}x<b \}$，其中$a{\;\in\;}\mathbb{R}, a{\;\neq\;}0$且$b{\;\in\;}\mathbb{R}$，开半空间是凸集，但不是仿射集合。
   • 半空间的边界是超平面，半空间的内部是开半空间。
2. Euclid球和椭球：
   • Euclid球：$B(x_{c},r)=\{ x | \| x-x_{c} \|_{2}{\;\leq\;} r \}=\{x_{c}+ru \mid \| u \|_{2}{\;\leq\;}1\}$，其中$r>0$，Euclid球是凸集。
   • 椭球：$E=\{ x \mid (x-x_{c})^{T} P^{-1} (x-x_{c}) {\;\leq\;} 1 \}=\{x_{c}+Au \mid \| u \|_{2}{\;\leq\;}1\}$，其中$P=P^{T}{\;\succ\;}0$，$A=P^{1/2}$，椭球是凸集，且Euclid球可以看做$P=r^{2}I$的椭球。
3. 范数球和范数锥：
   • 范数球：$B(x_{c},r)=\{ x | \| x-x_{c} \|{\;\leq\;} r \}$，其中$r>0$，范数球是凸集。
   • 范数锥：$C=\{ (x,t) | \| x \|{\;\leq\;} t \}$，其中$t>0$，范数锥是凸锥。
4. 多面体：
   • 多面体：$P=\{ x | a_{j}^{T}x{\;\leq\;}b_{j}， j=1,2,{\dots},m, c_{j}^{T}x=d_{j},j=1,2,{\dots},p \}=\{ x \mid Ax {\;\preceq\;} b, Cx=d \}$ ，多面体是有限个半空间和超平面的交集，仿射集合、射线、线段和半空间都是多面体。显然，多面体是凸集。
   • 单纯形：若$k+1$个点$v_{0}, v_{1}, {\dots}, v_{k}{\;\in\;}\mathbb{R}^{n}$仿射独立，则这些点的凸包为单纯形，即有$C = \mathbf{conv}\{ v_{0}, v_{1}, {\dots}, v_{k} \}$。
     • 仿射相关：对于$n$个向量$v_{1}, {\dots}, v_{n}$，若有$n$个不全为$0$的标量${\alpha}_{1}, {\dots}, {\alpha}_{n}$，满足${\alpha}_{1}v_{1} + {\dots} + {\alpha}_{n}v_{n}=0$且${\alpha}_{1}+{\dots}+{\alpha}_{n}=0$，则称向量$v_{1}, {\dots}, v_{n}$仿射相关；反之，称向量$v_{1}, {\dots}, v_{n}$仿射独立。
     • 向量$v_{1}, {\dots}, v_{n}$仿射独立的充要条件是向量$v_{2}-v_{1}, {\dots}, v_{n}-v_{1}$线性独立。
     • 常见单纯形：线段（一维）、包含内部的三角形（二维）、四面体（三维）。
     • 单位单纯形：由$0, e_{1}, {\dots}, e_{n}$决定的$n$维单纯形，其中，元素$x$满足$x{\;\succeq\;}0$，且$1^{T}x{\;\leq\;}1$。
     • 概率单纯形：由$e_{1}, {\dots}, e_{n}$决定的$n-1$维单纯形，其中，元素$x$满足$x{\;\succeq\;}0$，且$1^{T}x=1$。概率单纯形中的向量可以对应于含有$n$个元素集合的概率分布。
   • 有限集合的凸包是有界多面体，但一般无法利用形如多面体定义的形式进行表示。
5. 半正定锥：对称半正定矩阵的集合$S_{+}^{n}$为凸锥。

保凸运算#

1. 交集：凸集、子空间、仿射集合、凸锥对任意交运算封闭。
   • 多面体是半空间与超平面的交集，因此为凸的。
   • 半正定锥是无穷个半空间的交集，因此是凸的。
2. 仿射函数：
   • 仿射函数：若函数$f:\mathbb{R}^{n}{\;\rightarrow\;}\mathbb{R}^{m}$具有$f(x)=Ax+b$的形式，其中$A{\;\in\;}\mathbb{R}^{m{\times}n}$，$b{\;\in\;}\mathbb{R}^{m}$，则称函数$f$是仿射的。
   • 凸集在仿射函数下的象和原象都是凸的，例：伸缩、平移、投影、和、直积、部分和。
3. 透视函数及线性分式函数：
   • 透视函数：若函数$P:\mathbb{R}^{n+1}{\;\rightarrow\;}\mathbb{R}^{n}$具有$P(z, t) = z/t$的形式，则称函数$P$是透视函数，定义域$\mathbf{dom}\;P=\mathbb{R}^{n}{\times}\mathbb{R}_{++}$。透视函数对向量进行伸缩变换，使最后一维分量为$1$并舍弃。
   • 凸集在透视函数下的象和原象都是凸的。
   • 线性分式函数：若函数$g:\mathbb{R}^{n}{\;\rightarrow\;}\mathbb{R}^{m+1}$是仿射函数，则函数$f=P{\;\circ\;}g: \mathbb{R}^{n}{\;\rightarrow\;}\mathbb{R}^{m}$称为线性分式函数（或投射函数）。
   • 凸集在线性分式函数下的象和原象都是凸的。

广义不等式#

1. 正常锥与广义不等式：
   • 正常锥：如果锥$K{\;\subseteq\;}\mathbb{R}^{n}$是凸的、闭的（闭包即为本身）、实的（包含非空内部）且尖的（不存在非零元素$x{\;\in\;}K$使得$-x{\;\in\;}K$），则称锥$K$为正常锥。例：半空间不是正常锥，因为其包含直线（不是尖的）。
   • 广义不等式：正常锥$K$可以定义偏序关系$x{\;\preceq_{K}\;}y \;\Leftrightarrow\; y-x{\;\in\;}K$，也可以定义严格偏序关系$x{\;\prec_{K}\;}y \;\Leftrightarrow\; y-x{\;\in\;}\mathbf{int}\;K$。
   • 广义不等式性质：
     • 加法保序：若$x{\;\preceq_{K}\;}y$且$u{\;\preceq_{K}\;}v$，则$x+u{\;\preceq_{K}\;}y+v$。
     • 非负数乘保序：若$x{\;\preceq_{K}\;}y$且${\alpha}{\;\geq\;}0$，则${\alpha}x{\;\preceq_{K}\;}{\alpha}y$。
     • 极限运算保序：若$x_{i}{\;\preceq_{K}\;}y_{i}, i=1,2,{\dots}$，且$i{\;rightarrow\;}{\infty}$时，有$x_{i}{\;rightarrow\;}x$和$y_{i}{\;rightarrow\;}y$，则$x{\;\preceq_{K}\;}y$。
     • 传递性：若$x{\;\preceq_{K}\;}y$且$y{\;\preceq_{K}\;}z$，则$x{\;\preceq_{K}\;}z$。
     • 自反性：$x{\;\preceq_{K}\;}x$。
     • 反对称性：若$x{\;\preceq_{K}\;}y$且$y{\;\preceq_{K}\;}x$，则$x=y$。
   • 为什么定义正常锥：正常锥可以保证广义不等式所定义偏序关系的性质成立且有意义，正常锥的定义可以与偏序关系的性质一一关联。
     • 对于锥$K$，有$0{\;\in\;}K$。因此，有$a{\;\succeq_{K}\;}a$（自反性）成立。对于锥$K$，若$v=x-y{\;\in\;}K$，有${\alpha}v={\alpha}(x-y){\;in\;}K$。因此，若$x{\;\succeq_{K}\;}y$，有${\alpha}x{\;\succeq_{K}\;}{\alpha}y$（非负数乘保序性）成立。
     • 对于凸锥$K$，若$u=x-y{\;\in\;}K$且$v=y-z{\;\in\;}K$，有$u+v=x-z{\;\in\;}K$。因此，若$x{\;\succeq_{K}\;}y$且$y{\;\succeq_{K}\;}z$，有$x{\;\succeq_{K}\;}z$（传递性）成立。
     • 对于尖集$K$，若$u=x-y{\;\in\;}K$且$-u=y-x{\;\in\;}K$，有$u=x-y=0$。因此，若$x{\;\succeq_{K}\;}y$且$y{\;\succeq_{K}\;}x$，有$x=y$（反对称性）成立。
     • 对于闭集$K$，若点列$\{u_{i}=x_{i}-y{i}{\;\in\;}C\}$收敛至$u=x-y$，则$u=x-y{\;\in\;}C$。因此，若$x_{i}{\;\succeq_{K}\;}y_{i}$，且$x_{i}$和$y_{i}$分别收敛至$x$和$y$，有$x{\;\succeq_{K}\;}y$（极限保序性）成立。
     • 对于实集$K$，其内部$\mathbf{int}\;K{\;\neq\;}{\emptyset}$。因此，有$x-y{\;\in\;}\mathbf{int}\;K{\;\neq\;}{\emptyset}$（严格偏序$x{\;\succ\;}y$有意义）成立。
2. 最小与极小元
   • 偏序关系与线性序的区别：线性序下的任意元素都是可比的，而对于偏序关系，未必所有的元素都是可比的。
   • 最小元：若$\forall y {\;\in\;} S$，都有$x{\;\preceq_{K}\;}y$，则称$x{\;\in\;}S$为$S$关于广义不等式${\;\preceq_{K}\;}$的最小元。如果集合有最小元，则最小元是唯一的。对于集合$S$，元素$x{\;\in\;}S$是集合$S$最小元的充要条件是$S{\;\subseteq\;}x+K$。从定义可以看出，集合存在最小元意味着集合中的元素都是可比的。
   • 极小元：若由$y{\;\in\;}S$和$y{\;\preceq_{K}\;}x$可以推得$y=x$，则称$x{\;\in\;}S$为$S$关于广义不等式${\;\preceq_{K}\;}$的极小元。对于集合$S$，元素$x{\;\in\;}S$是集合$S$极小元的充要条件是$(x-K){\;\cap\;}S=\{x\}$。从定义可以看出，集合中可比元素中的最小元一定是极小元，因此集合可能存在多个极小元。

分离与支撑超平面#

1. 超平面分离定理：
   • 超平面分离定理：若凸集$C$和$D$满足$C{\;\cap\;}D={\emptyset}$，那么存在$a{\;\neq\;}0$和$b$，使得对于${\forall}x{\;\in\;}C$，有$a^{T}x{\;\leq\;}b$，且对于${\forall}x{\;\in\;}D$，有$a^{T}x{\;\geq\;}b$。此时，超平面$\{x \mid a^{T}x=b\}$称为集合$C$和集合$D$的分离超平面。
   • 严格分离：若凸集$C$和$D$满足$C{\;\cap\;}D={\emptyset}$，且对于$a{\;\neq\;}0$和$b$，有${\forall}x{\;\in\;}C$，有$a^{T}x<b$，且对于${\forall}x{\;\in\;}D$，有$a^{T}x>b$，则称超平面$\{x \mid a^{T}x=b\}$将凸集$C$和$D$严格分离。不想交的闭凸集不一定能被超平面严格分离，例如凸集$C=\{(x, y) \mid x{\;\leq\;} 0\}$和凸集$D=\{ (x, y) \mid xy{\;\geq\;}1, x{\;\geq\;}0, y{\;\geq\;}0 \}$。
   • 超平面分离逆定理：对于任意两个凸集$C$和$D$，若其中至少有一个为开集，那么集合$C$与$D$不相交的充要条件是集合$C$与$D$存在分离超平面。
   • 严格线性不等式的择一定理：$Ax{\;\prec\;}b$和${\lambda}{\;\neq\;}0, {\lambda}{\;\succeq\;}0, A^{T}{\lambda}=0, {\lambda}^{T}b{\;\leq\;}0$对于任意$A$和$b$，择一成立。其中，集合$C=\{b-Ax \mid x {\;\in\;} \mathbb{R}^{n}\}$和集合$D=\mathbb{R}_{++}^{m}=\{y{\;\in\;}\mathbb{R}^{m} \mid y {\;\succeq\;} 0\}$的分离超平面为$\{x \mid {\lambda}^{T}x={\mu}\}$。
2. 支撑超平面：
   • 定义：设集合$C{\;\subseteq\;}\mathbb{R}^{n}$，$x_{0}$为边界$\mathbf{bd}\;C$上的一点，即$x_{0}{\;\in\;}\mathbf{bd}\;C=\mathbf{cl}\;C \;\backslash\; \mathbf{int}\;C$，若$a{\;\neq\;}0$，且对于$\forall x{\;\in\;}C$，有$a^{T}x{\;\leq\;}a^{T}x_{0}$，则超平面$\{x \mid a^{T}x=a^{T}x_{0}\}$称为集合$C$的支撑超平面。
   • 支撑超平面定理：对于任意非空凸集$C$和任意$x_{0}{\;\in\;}\mathbf{bd}\;C$，在$x_{0}$处均存在集合$C$的支撑超平面。
   • 支撑超平面逆定理：若一个集合是闭的，且具有非空内部，并且其边界每一个点均存在支撑超平面，则该集合是凸集。

对偶锥与广义不等式#

1. 对偶锥：令集合$K$为一个锥，集合$K^{*}=\{ y \mid x^{T}y{\;\geq\;}0, {\forall}x{\;\in\;}K \}$称为$K$的对偶锥。从几何上看，$y{\;\in\;}K^{*}$的充要条件是$-y$为集合$K$在原点的一个支撑超平面的法线。
   • 例子：
     • 子空间$V{\;\subseteq\;}\mathbb{R}^{n}$的对偶锥是其正交补$V^{\perp}=\{ y \mid y^{T}x=0, x{\;\in\;}V \}$：由于$V$是子空间，因此当$x{\;\in\;}V$时，有$-x{\;\in\;}V$。若$y{\;\in\;}K^{*}$，则有$y^{T}x{\;\geq\;}0$和$y^{T}(-x){\;\geq\;}0$同时成立，即等价于$y^{T}x=0$。
     • $\mathbb{R}_{+}^{n}$的对偶锥是其本身：反证法易证，$y^{T}x{\;\geq\;}0,\forall x{\;\succeq\;}0 {\;\Leftrightarrow\;} y{\;\succeq\;}0$。
     • $\mathbb{S}_{+}^{n}$的对偶锥是其本身：反证法易证，$\mathrm{Tr}(XY){\;\geq\;}0,\forall X{\;\succeq\;}0 {\;\Leftrightarrow\;} Y{\;\succeq\;}0$。
     • 范数锥的对偶锥为对偶范数锥，其中范数$\|{\cdot}\|$的对偶范数为$\|u\|_{*}=\mathrm{sup}\{ u^{T}x \mid \| x \| {\;\leq\;} 1 \}$：反证法易证，对于$\|x\|{\;\leq\;}t$，$x^{T}u+tv{\;\geq\;}0{\;\Leftrightarrow\;} \| u \|_{*} {\;\leq\;} v$。
   • 性质：
     • $K^{*}$是闭凸锥；
     • 若$K_{1}{\;\subseteq\;}K_{2}$，则$K_{2}^{*}{\;\subseteq\;}K_{1}^{*}$。
     • 若$K$有非空内部，则$K^{*}$是尖的。
     • 若$K$的闭包是尖的，则$K^{*}$有非空内部。
     • $K^{**}$是$K$的凸包的闭包，若$K$是凸和闭的，则$K^{**}=K$。
2. 广义不等式的对偶：
   • 广义不等式$\;\preceq_{K^{*}}\;$为广义不等式$\;\preceq_{K}\;$的对偶。
   • 性质：
     • $x{\;\preceq_{K}\;}y$的充要条件是对于任意${\lambda}{\;\succeq_{K^{*}}\;}0$，有${\lambda}^{T}x{\;\leq\;}{\lambda}^{T}y$。
     • $x{\;\prec_{K}\;}y$的充要条件是对于任意${\lambda}{\;\succeq_{K^{*}}\;}0$和${\lambda}{\;\neq\;}0$，有${\lambda}^{T}x<{\lambda}^{T}y$。
     • 线性严格广义不等式的择一定理：$Ax{\;\prec_{K}\;}b$和${\lambda}{\;\neq\;}0, {\lambda}{\;\succeq_{K^{*}}\;}0, A^{T}{\lambda}=0, {\lambda}^{T}b{\;\leq\;}0$对于任意$A$和$b$，择一成立。其中，集合$C=\{b-Ax \mid x {\;\in\;} \mathbb{R}^{n}\}$和集合$D=\mathbf{int} K$的分离超平面为$\{x \mid {\lambda}^{T}x={\mu}\}$。
3. 对偶不等式的最小元和极小元：
   • 最小元：元素$x{\;\in\;}S$是集合$S$最小元的充要条件对于所有${\lambda}{\;\succ_{K^{*}}\;}0$，$x$是在$z{\;\in\;}S$上极小化${\lambda}^{T}z$的唯一最优解。从几何上看，元素$x{\;\in\;}S$是集合$S$最小元意味着对于所有${\lambda}{\;\succ_{K^{*}}\;}0$，超平面$\{z \mid {\lambda}^{T}(z-x)=0\}$是在$x$处对$S$的一个严格支撑超平面。
   • 极小元：元素$x{\;\in\;}S$是集合$S$极小元的充要条件对于所有${\lambda}{\;\succ_{K^{*}}\;}0$，$x$在$z{\;\in\;}S$上极小化${\lambda}^{T}z$。当集合$S$为凸集时，对于任意极小元$x$，存在非零${\lambda}{\;\succeq_{K^{*}}\;}0$，使得$x$在$z{\;\in\;}S$上极小化${\lambda}^{T}z$。