[最优化方法笔记] 凸集、凸函数、凸优化

1. 凸集

1.1 凸集的几何定义

在 ${\mathbb{R}}^n$ 空间中，经过两个不同的点 $x_1$ 和 $x_2$ 可以确定一条直线，方程如下：

$$y=\theta x_1+(1-\theta )x_2,\theta \in \mathbb{R}$$

特别地：

• 当 $\theta =0$ 时，$y=x_2$

• 当 $\theta =1$ 时，$y=x_1$

• 当 $0\le \theta \le 1$ 时，$y$ 是点 $x_1$ 和 $x_2$ 之间构成的 线段 上的点

• 当 $\theta <0$ 或 $\theta >1$ 时，点 $y$ 是在 $x_1$ 和 $x_2$ 构成的 直线上 的但是在所构成 线段之外 的点。

仿射集:

如果经过集合 $\mathcal{C}$ 的任意两个点的直线都在 $\mathcal{C}$ 内，则称 $\mathcal{C}$ 为 仿射集 。

$$x_1,x_2\in \mathcal{C}\Rightarrow \theta x_1+(1-\theta )x_2\in \mathcal{C},\mathrm{\forall }\theta \in \mathbb{R}$$

凸集:

如果经过集合 $\mathcal{C}$ 的任意两个点的 线段 都在 $\mathcal{C}$ 内，则称 $C$ 为 凸集 。

$$x_1,x_2\in \mathcal{C}\Rightarrow \theta x_1+(1-\theta )x_2\in \mathcal{C},\mathrm{\forall }0\le \theta \le 1$$

显然，仿射集 都是 凸集 。

上图中的 (a) 为 凸集，而 (b), (c) 不是凸集。

其中，(b) 存在空隙，显然不是凸集；(c) 存在一些边不在集合中，故也不是凸集。

1.2 凸集的性质

• 若 $\mathcal{S}$ 为凸集，则 $k\mathcal{S}=\{ks|k\in \mathbb{R},s\in \mathcal{S}\}$ 也是凸集

• 若 $\mathcal{S}$ 和 $\mathcal{T}$ 都是凸集，则 $\mathcal{S}+\mathcal{T}=\{s+t|s\in \mathcal{S},t\in \mathcal{T}\}$ 也是凸集

• 若 $\mathcal{S}$ 和 $\mathcal{T}$ 都是凸集，则 $\mathcal{S}\cap \mathcal{T}$ 也是凸集。任意多凸集的交都是凸集

• 凸集的内部和闭包都是凸集

---

2. 凸函数

2.1 凸函数定义

凸函数：

$f:{\mathbb{R}}^n\to \mathbb{R}$ 为适当函数，函数 $f$ 的 定义域 为 凸集 且

$$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$$

对于所有的 $x,y\in \text{dom}f,0\le \theta \le 1$ 都成立（dom即定义域），那么称 $f$ 为 凸函数 。

• 若 $f$ 为凸函数，则 $-f$ 为 凹函数

• 若对于所有 $x,y\in \text{dom}f,x\ne y,0<\theta <1$ 有

  $$f(\theta x+(1-\theta )y)<\theta f(x)+(1-\theta )f(y)$$

  则称 $f$ 为 严格凸函数

凸函数举例：

• 一元凸函数

  • 仿射函数: 对任意 $a,b\in \mathbb{R}，ax+b$ 是$\mathbb{R}$ 上的凸函数

  • 指数函数：对任意 $a\in \mathbb{R}$，$e^{ax}$ 是 $\mathbb{R}$ 上的凸函数

  • 幂函数：对 $a\ge 1$ 或 $a\le 0$，$x^a$ 为 ${\mathbb{R}}_{+}$ 上的凸函数

• 多元凸函数

  • 仿射函数：$f(x)=a^{T}x+b$

  • 范数：$||x|{|}_p=(\sum _{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}},p\ge 1$

2.2 凸函数判定条件

一阶条件：

对于定义在凸集上的 可微函数 $f$，$f$ 是凸函数当且仅当 $f(y)\ge f(x)+\mathrm{\nabla }f(x{)}^T(y-x)\mathrm{\forall }x,y\in \text{dom}f$

显然，凸函数永远位于其切线的上方。

二阶条件：

对于定义在凸集上的 二阶可微函数 $f$，$f$ 是凸函数当且仅当

$${\mathrm{\nabla }}^{2}f(x)⪰0,\mathrm{\forall }x\in \text{dom}f$$

显然，函数 $f$ 的导数是 非递减的。

如果 ${\mathrm{\nabla }}^{2}f(x)\succ 0,\mathrm{\forall }x\in \text{dom}f$，则 $f$ 是 严格凸函数 。

---

3. 凸优化

3.1 凸优化问题

凸优化问题 要求目标函数为凸函数，定义域为凸集。

$$\begin{array}{rl}& minf(x)\\ & \text{s.t.}{g}_i(x)\le 0,i=1,...,m\\ & Ax=b\end{array}$$

其中 目标函数 $f$ 和 不等式约束 $g_i$ 均为 凸函数；等式约束 均为 仿射函数。

3.2 凸优化问题最优解

凸优化问题的 任意局部极小点 都是 全局最优 。

$x$ 是凸优化问题 $\underset{x\in X}{min}f(x)$ 的最优解当且仅当 $x$ 可行且

$$\mathrm{\nabla }f(x{)}^T(y-x)\ge 0,\mathrm{\forall }y\in X$$

可以由凸函数判定 一阶条件 得出此结论。

3.3 常见凸优化问题

• 线性规划 ($\text{LP, Linear Program}$)

  $$\begin{array}{rl}& \underset{x\in {\mathbb{R}}^n}{min}{c}^{T}x\\ & \text{s.t.}Gx\le e,\\ & Ax=b\end{array}$$

  其中 $c\in {\mathbb{R}}^n,A\in {\mathbb{R}}^{m\times n},b\in {\mathbb{R}}^m,G\in {\mathbb{R}}^{p\times n},e\in {\mathbb{R}}^p$

• 二次规划 ($\text{QP, Quadradic Program}$)

  $$\begin{array}{rl}& min\frac{1}{2}{x}^{T}Px+q^{T}x+r\\ & \text{s.t.}Gx\le e,\\ & Ax=b\end{array}$$

  目标函数是凸二次型的

3.4 凸优化一般求解

凸优化问题中局部最优解即全局最优解，故求解过程可以简化为：找到一个点使得目标函数值持续减少，直到触发停止条件或达到一个最小值。

$$x_{k+1}=x_k+{\alpha }_k{d}_k$$

其中 $x_k$ 为 第 $k$ 次迭代的值，$d_k$ 为 第 $k$ 次迭代时的搜索方向，${\alpha }_k$ 为 第 $k$ 次迭代的步长。

搜索方向满足：

• $\mathrm{\nabla }f(x_k{)}^T{d}_k<0$，即沿着梯度相反的方向进行搜索

• $f(x_{k+1})=f(x_k+{\alpha }_k{d}_k)<f(x_k)$

---

参考

刘浩洋, 户将, 李勇锋, 文再文 《最优化：建模、算法与理论》

Convex Optimization——凸函数

机器学习必知必会：凸优化