凸集，凸函数，凸优化问题。

目录

• 1. 凸集
• 2. 仿射集
• 3.凸函数
• 4.凸优化问题

最近学习了一些凸优化的知识，想写几篇随笔作为总结备忘。在此篇中我们简要地介绍一点点基本概念。

1. 凸集

  **定义1. 集合$S\in\mathbb{R}^{n}(n\geq 1)$ 被称为是凸集，如果对于任意的$x,y\in S$,$t\in (0,1)$则 $tx+(1-t)y\in S$** Figure 1. 一些凸集和非凸集的简单例子

2. 仿射集

  **定义2. 集合$S\in\mathbb{R}^{n}(n\geq 1)$ 被称为是仿射集，如果对于任意的$x,y\in S, x\neq y$,$t\in \mathbb{R}$则 $tx+(1-t)y\in S$**

由定义我们容易知道，仿射集只不过是由线性空间平移得到的集合，自然也是凸集。

  定义3. 我们称任意集合\(S\in\mathbb{R}^{n}(n\geq 1)\) 的仿射包为所有包含\(S\)的仿射集合中最小的那一个集合，记其为\(Aff\; S\)。

由定义我们很容易知道对于任意集合\(S\in\mathbb{R}^{n}(n\geq 1)\), 我们有：

\[Aff\; S=\lbrace t_{1}x_{1}+...+t_{k}x_{k}\mid t_{1},...,t_{k}\in\mathbb{R},x_{1},...,x_{k}\in S, k\geq 1\rbrace \]

  除此以外，我们也会在后续接触到一个重要概念：“相对内部”（Relative Interior）。现在若\(S\in\mathbb{R}^{n}\)是某一子集，\(Aff \ S\)是\(S\)的仿射包，则\(Aff \ S\)自然有由\(\mathbb{R}^{n}\)诱导的拓扑结构。现在我们定义：

  **定义4. 我们称\(S\)作为\(Aff \: S\)的子集在\(Aff \:S\)中其诱导拓扑意义下的内部称为相对内部，记作relint:S。 **

定义4看着有点古板而拗口，其实它的意思也就是"\(S\) 在 \(Aff\:S\)中的内部，不是更大的\(\mathbb{R}^{n}\)中的内部"。例如对\(\mathbb{R}^{n}\)中任意的维度严格小于\(n\)的仿射子集\(A\),我们知道其在\(\mathbb{R}^{n}\)中的内部\(int A\)为空，但是其相对内部\(relint A\)就是\(A\)自身。

3.凸函数

  **设某函数$f$的定义域$dom(f)\in\mathbb{R}^{n}$**是一个凸集，我们称该函数时一个凸函数如果对于任意的$x,y\in dom(f)$, $t\in (0,1)$有： \begin{equation} f(tx+(1-t)y)\leq tf(x)+(1-t)f(y) \end{equation}

  我们容易由泰勒展开公式证明如下结论：
定理1（凸函数的一二阶导数刻画):如果函数\(f\)的定义域\(dom(f)\in\mathbb{R}^{n}\) 是一凸的开集，且\(f\)在其上可微，则\(f\)是凸函数dang且仅当：对任意的\(x,y\in dom(f)\)成立有：
\begin{equation}
f(y)\geq f(x)+(y-x)\cdot \nabla f(x).
\end{equation}
  进一步如果\(f\)二阶可微，则\(f\)凸当且仅当对任意\(x\in dom(f)\), \(f\)在\(x\)处的\(Hessian\)矩阵\(Hess(f)(x)\triangleq (\frac{\partial^{2}f(x)}{\partial x_{i}\partial x_{j}})_{n\times n}\)非负定。

4.凸优化问题

  现在我们考虑一类极值（优化）问题：

\begin{equation}\begin{split}\text{min}\quad & f_{0}(x) \newline \text{subject to:}\quad & f_{i}(x)\leq 0, i=1,...,m \newline & h_{i}(x)=0, i=1,...,p\end{split}\end{equation}

  其中我们称函数\(f_{0}: dom(f_{0})\in \mathbb{R}^{n}\longrightarrow \mathbb{R}\) 为目标函数，而其后所跟随的不等号条件\(f_{i}(x)\leq 0, i=1,2,...,m\)为不等式约束条件，\(f_{i}: dom(f_{i})\longrightarrow \mathbb{R}\)\((i=1,...,m)\)为不等式约束函数，等号条件\(h_{i}(x)=0,i=1,...,p\)为等式约束条件，相应的\(h_{i}: dom(h_{i})\longrightarrow \mathbb{R}\)称为等式约束函数， 我们统称这些条件为约束条件，这些函数为约束函数。

  在以后的讨论中我们都用\(D\)表示定义域\(dom(f_{i}),i=0,...,m\), \(dom(h_{i}),i=1,...,p\)的交集, 而记集合\(C=\lbrace x\in D\mid f_{i}(x)\leq 0,i=1,...,m, h_{i}(x)=0,i=1,...,p\rbrace\)，称其为优化问题(3)的可行域。注意到，\(C\)可能会是空集。同时，我们记\(p^{\ast}=inf_{x\in C}f_{0}(x)\), 称其为最优化问题(3)的最优值。注意到，该最优值不一定能达到, 并且当可行域\(C\)为空集的时候\(p^{\ast}=+\infty\)。 如果\(x^{\ast}\in C\), \(f_{0}(x^{\ast})=p^{\ast}\), 我们称\(x^{\ast}\)为最优化问题（3）的最优解。

所谓的凸优化问题就是（3）中\(f_{0},...,f_{m}\), \(h_{1},...,h_{p}\)均为凸函数而\(h_{1},...,h_{p}\)均为仿射函数的最优化问题。我们将在以后的随笔中重地讨论之。