【凸优化】2 超平面，半空间，欧氏球，椭球，范数球，范数锥

1 超平面 Hyperplanes

定义：超平面是一个形式为$\{x|a^Tx=b\}$的集合，其中$a\in \mathbb{R}^n, a \neq 0, b\in \mathbb{R}$。
分析上讲，超平面是线性方程的非零解集；几何上讲，超平面是与向量$a$具有恒定内积的点集，或具有法向量$a$的超平面，常数$b$决定了超平面与原点的偏移量。

图1. $\mathbb{R}^2$中的超平面，法向量为$a$，点$x_0$在超平面内。在超平面中的任意一点$x$，$x-x_0$（图中加粗的向量）与$a$正交。

超平面也可表示为$\{x|a^T(x-x_0)=0\}$，其中$x_0$是超平面中的任意一点；
也可表示为$\{x|a^T(x-x_0)=0\}=x_0+a^\perp$，其中$a^\perp$表示$a$的正交补集。可以看出，超平面由偏移量$x_0$和与法向量$a$正交的全部向量组成，如图1。

2 半空间 Halfspaces

上述的超平面能够将$\mathbb{R}^n$划分成两个半空间，半空间是一个形式为$\{x|a^Tx \leq b\}$的集合，其中$a\neq 0$，也是一个线性不等式的非零解集。

半空间是凸集，不是仿射集，如图2。

图2. 超平面$a^Tx=b$ 将$\mathbb{R}^n$划分成两个半空间。由$a^T x \geq b$ 确定的半空间(未加阴影)是沿$a$方向延伸的。 由$a^T x \leq b$ 确定的半空间(阴影部分)在$-a$方向上延伸的。向量$a$是这个半空间的外法线。

半空间也可表示为$\{x|a^T(x-x_0)\leq0\}$，其中$x_0$是对应的超平面上的任意点，即满足$a^T x_0 = b$。
对此的几何解释为：半空间由$x_0$和任何与向量$a$($a$为向外的法向量)成钝角或直角的向量组成。如图3。

图3. 由$a^T(x-x_0)\leq0$定义的半空间（阴影部分）：向量$x_1 - x_0$与$a$成锐角，因此$x_1$不在半空间中。 向量 $x_2 - x_0$ 与 $a$ 成钝角，在半空间中。

集合$\{x|a^Tx <b\}$称为开半空间(open halfspace)。

3 欧式球 Euclidean Balls

在$\mathbb{R}^n$ 空间中的球/欧几里得球的形式为：

$$B(x_c,r)=\{x|\; ||x-x_c||_2 \leq r\}=\{x|\; (x-x_c)^T(x-x_c)\leq r^2\}$$

其中$r>0$，$||\cdot||_2$为欧几里德范数（即$L_2$范数），$x_c$是球的中心，标量$r$为半径，$B(x_c,r)$由距中心$x_c$距离小于等于$r$的所有点组成，即球表面和球内部。
球的另一种表示形式为：

$$B(x_c,r)=\{x_c + ru|\; ||u||_2 \leq 1\}$$

球是一个凸集，证明如下：
球内（这里的球内指在球内部或球表面，并非单指内部）任取两点$x_1, x_2$，根据性质可知$||x_1-x_c||_2 \leq r$ 和 $||x_2-x_c||_2 \leq r$，假设 $\theta \in [0,1]$，则根据凸集的定义，我们想要知道线段$\theta x_1 + (1-\theta) x_2$ 是否在球内：

$$||\theta x_1 + (1-\theta) x_2 - x_c||_2 = ||\theta(x_1-x_c) + (1-\theta) (x_2-x_c)||_2 \\ \leq \theta||x_1-x_c||_2 + (1-\theta) ||x_2-x_c||_2 \leq r$$

4 椭球 Ellipsoids

另一个凸集类的集合为椭球，其形式为：

$$\varepsilon = \{x|(x-x_c)^T P^{-1}(x-x_c)\leq 1\}$$

其中$P=P^T\succ 0$，即$P$为对称且正定的矩阵(正定：对任意$x\neq 0$，有 $x^T P x>0$)。同样的，$x_c\in \mathbb{R}^n$ 为椭球的中心，$P$ 决定了椭球在每个方向上从$x_c$延伸多远，$\varepsilon$的半轴长度由$P$的特征值$\sqrt{\lambda_i}$给出。

当$P=r^2 I$时，上述公式的椭球就是球。

图4. 二维空间中的椭球（也是椭圆），$x_c$为中心，两个线段为半轴。

椭球的另一个表达式为：

$$\varepsilon =\{x_c + A\mu| \; ||\mu||_2\leq 1\}$$

其中$A$是非奇异的方阵。这个公式中的集合称为退化椭球（degenerate ellipsoids），它的仿射维数等于$A$的秩，退化椭球也是凸的。

5 范数球 Norm Balls

当将欧氏球公式中的二范数（$||\cdot||_2$）换成$\mathbb{R}^n$上的任意范数（$||\cdot||$），此时的集合称为范数球：

$$B(x_c,r)=\{x|\; ||x-x_c||\leq r\}$$

同样的，$r$为半径，$x_c$为中心，范数球为凸集。

6 范数锥 Norm Cones

范数锥的公式为：

$$C=\{(x,t)|\; ||x||\leq t\}$$

其中，$x\in \mathbb{R}^n$，$t$，故$C \subseteq \mathbb{R}^{n+1}$，且为凸锥。

图5. $\mathbb{R}^2$中的二阶锥（取二范数）的边界。