凸优化|凸函数

一、定义和基本性质

1.1 定义

一个函数 \(f:\mathbf{R}^n\rightarrow \mathbf{R}\) 是凸函数当且仅当 \(\mathrm{dom}\;f\) 是凸集，且对于所有的 \(x,y\in\mathrm{dom}\;f\) 和 \(0\le\theta\le 1\)，满足

\[f\left(\theta x+(1-\theta)y\right) \leq \theta f\left(x\right)+(1-\theta) f\left(y\right) \]

• 若 \(x\ne y\) 且 \(0<\theta<1\) 时上述不等式严格成立，则称函数 \(f\) 严格凸。若 \(f\) 为凸函数，则 \(-f\) 为凹函数；若 \(f\) 为严格凸函数，则 \(-f\) 为严格凹函数。
• 仿射函数总是满足上述不等式，且所有的仿射函数都是既凸又凹的；所有既凸又凹的函数都是仿射函数；而凸函数不一定是仿射函数。

1.2 一阶条件

• 可微

  若梯度

  \[\nabla f(x)=\left(\frac{\partial f(x)}{\partial x_{1}}, \frac{\partial f(x)}{\partial x_{2}}, \ldots, \frac{\partial f(x)}{\partial x_{n}}\right) \]

  在 \(\mathrm{dom}\;f\) （开集）的每个点 \(x\) 上都存在，则称 \(f\) 可微。

• first-order conditions

  假设 \(f\) 可微，则 \(f\) 为凸函数当且仅当 \(\mathrm{dom}\;f\) 为凸，且对于所有的 \(x,y\in\mathrm{dom}\;f\)​，满足

  \[f(y)\ge f(x)+\nabla f(x)^T(y-x) \]
  

  若对于所有的 \(x,y\in\mathrm{dom}\;f\)，满足

  \[f(y)> f(x)+\nabla f(x)^T(y-x) \]

  则称 \(f\) 为严格凸。

  对于凹函数，则是： \(f\) 为凹函数当且仅当 \(\mathrm{dom}\;f\) 为凸，且对于所有的 \(x,y\in\mathrm{dom}\;f\)​，满足

  \[f(y)\le f(x)+\nabla f(x)^T(y-x) \]

1.3 二阶条件

• 二次可微

  若 Hessian 矩阵或二阶导

  \[\nabla^{2} f(x)_{i j}=\frac{\partial^{2} f(x)}{\partial x_{i} \partial x_{j}}, \quad i, j=1, \ldots, n \]

  在 \(\mathrm{dom}\;f\) （开集）的每个点 \(x\) 上都存在，则称 \(f\) 二次可微。

• second-order conditions

  假设 \(f\) 二次可微，则 \(f\) 为凸函数当且仅当 \(\mathrm{dom}\;f\) 为凸，且对于所有的 \(x\in\mathrm{dom}\;f\)​，满足

  \[\nabla^2 f(x)\ge0 \]

  若对于所有的 \(x\in\mathrm{dom}\;f\)，满足

  \[\nabla^2 f(x)>0 \]

  则称 \(f\) 为严格凸。但反过来不成立，如函数 \(f(x)=x^4\) 为严格凸的，但其二阶导在 \(x=0\) 时为 0。

  其实二阶性质和一阶性质的本质是一样的。二阶相当于一阶性质不等式的泰勒展开式右边增加了一个二次项（都省去了余项-高阶无穷小）。二次项相当于 \((y-x)^T\nabla^2f(x) (y-x)\ge0\) ，即海森矩阵需满足半正定。

1.4 函数的凸性判别

• 基本定义（将其限制在一条直线上）
• 二阶导大于或等于海森矩阵半正定
• 证明函数是由一些简单的凸函数经过保凸运算得到

1.5 凸/凹函数实例

• 凸（convex）

  • 仿射函数（线性函数）。\(ax+b\)

  • 指数函数。\(e^{ax},a\in\mathbf{R}\)

  • 幂函数。\(x^{a},a>1\; \mathrm{or}\;a<0\)

  • 绝对值的幂函数。\(|x|^p,p\ge 1\)

  • 负熵。\(x\log(x)\)

  • 其它例子：

    • 范数（Norms）

    • max function。\(f(x)=\max\{x_1,x_2,\cdots,x_n\}\)

    • 二次超线性函数。如 \(f(x,y)=x^2/y\)​ ，其定义域为

      \[\mathrm{dom}\;f=\mathbf{R}\times\mathbf{R}_{++}=\{(x,y)\in\mathbf{R}^2|y<0\} \]

    • log-sum-exp。\(f(x)=\log(e^{x_1}+e^{x_2}+\cdots,+e^{x_n})\)

    • 几何平均。\(f(x)=(\prod_{i=1}^nx_i)^{1/n},\;\mathrm{dom}\;f=\mathbf{R}_{++}^n\)

    • log-determinant。\(f(X)=\log\det X,\;\mathrm{dom}\;f=\mathbf{S}_{++}^n\)

• 凹（concave）

  • 仿射函数。\(ax+b\)

  • 幂函数。\(x^{a},0\le a\le1\)

  • 对数函数。\(\log(x),x\in\mathbf{R}_{++}\)

1.6 Epigraph and sublevel set

与凸锥类似。其实 epigraph 就是在 sublevel set 的基础上增加了一个维度，假设原来 sublevel set 指的是 sublevel 以下函数线上的点集，epigraph 指的则是 sublevel 和函数之间的面上的点集合。

1.7 Jensen 不等式

• 若 \(f\) 为凸函数，则有：

\[f\left(\theta_{1} x_{1}+\ldots+\theta_{n} x_{n}\right) \leq \theta_{1} f\left(x_{1}\right)+\ldots+\theta_{n} f\left(x_{n}\right) \]

​ 其中 \(0\le\theta_i\le1,\theta_1+\ldots+\theta_n=1\) 。

• Jensen不等式的另外形式：（从概率论的角度看其实就是数学期望 \(f[E(x)]\le E[f(x)]\)）
  \[f\left(\int_{S} p(x) x d x\right) \leq \int_{S} p(x) f(x) d x \]

二、保凸运算

1. 非负加权和、无穷和与积分。

   \[\begin{align} &f=w_1f_1+w_2f_2+\cdots+w_mf_m\\ &g(x)=\int_\mathcal{A}w(y)f(x,y)\mathrm{d}y \end{align} \]

2. 仿射映射和复合（如缩放、平移、投影）

   \[g(x)=f(Ax+b) \]

3. 逐点最大值和上确界

   \[\begin{align} &f(x)=\max\left\{f_1(x)+f_2(x)+\cdots+f_n(x)\right\}\\ &f(x)=\sup_{y\in\mathcal{A}}g(x,y) \end{align} \]

4. 复合运算

   \[\begin{align} g:{\cal R}^n \to {\cal R},h:{\cal R^k} \to {\cal R},f:{\cal R^n} \to {\cal R}\\ f(x) = h(g(x)) \end{align} \]

   规则：

   1. \(f\) 为凸。\(h\) 为凸且非递减，并且 \(g\) 为凸。
   2. \(f\) 为凸。\(h\) 为凸且非递增，并且 \(g\) 为凹。
   3. \(f\) 为凹。\(h\) 为凹且非递减，并且 \(g\) 为凹。
   4. \(f\) 为凹。\(h\) 为凹且非递增，并且 \(g\) 为凸。

5. 凸函数的透视算子

   \[g(x,t)=tf(x/t) \]

三、共轭函数（对偶函数）

• 定义

  假设 \(f:\mathrm{R}^n\rightarrow \mathrm{R}\)，则将其共轭函数定义为 \(f^*:\mathrm{R}^n\rightarrow \mathrm{R}\) ，表示为

  \[f^{*}(y)=\sup _{x \in \operatorname{dom} f}\left(y^{T} x-f(x)\right) \]

  该共轭函数的定义域由 \(y\in\mathrm{R}^n\)​ 组成，其上确界是有限的。其定义可由下图解释

  

• 解释

  共轭函数 \(f^*\) 实际上是由一系列仿射函数的逐点上确界组成（\(\sup _{x \in \operatorname{dom} f}\left(y^{T} x-f(x)\right)\) 的第一项是关于 \(y\) 的线性函数，第二项无关），由于仿射函数是凸函数，而逐点上确界是保凸运算，因此 \(f^*\) 是凸函数。因此无论原函数 \(f\) 是否为凸，其共轭函数都是凸函数。且仅当 \(f\) 为凸且闭合时，\(f^{**}=f\) 。

• 共轭函数的意义

  即便一个函数为非凸函数，也可以通过共轭运算获得一个凸函数以求得其最优解。

• 例子：

  • \(f(x)=a^Tx+b\)
  • \(f(x)=\mathrm{e}^x\)
  • \(f(x)=x\log(x)\)

四、准凸函数

4.1 定义

设函数 \(f:\mathbf{R}^n\rightarrow \mathbf{R}\) ，若函数的定义域及其任意下水平集（sublevel）

\[S_{\alpha}=\{x\in\mathrm{dom}\;f|f(x)\le\alpha,\alpha\in\mathrm{dom}\;f\} \]

为凸集，则称 \(f\) 为准凸函数（quasiconvex）。

• 准凸函数对应的下水平集可能是一个区间，也可能包括无穷区间。
• 实例：\(\log(x),x\in\mathbf{R}_{++}\) 是准凸/准凹的，因此也是准线性的。

4.2 基本性质

凸函数的许多性质对于准凸函数来说是成立的，或者有类似的性质。

• 若函数 \(f\) 为准凸函数，当且仅当 \(\mathrm{dom}\;f\) 为凸集，且对于所有的 \(x,y\in\mathrm{dom}\;f\) 和 \(0\le\theta\le1\)​ 满足

  \[f(\theta x+(1-\theta)y)\le \max\{f(x),f(y)\} \]

  

• 准凸函数的一阶条件

  若函数 \(f\) 一阶可微，则 \(f\) 为准凸函数，当且仅当 \(\mathrm{dom}\;f\) 为凸集，且对于所有的 \(x,y\in\mathrm{dom}\;f\) ，满足（实际和凸函数的一阶条件是一样的）

  \[f(y)\le f(x)\Longrightarrow\nabla f(x)^T(y-x)\le 0 \]

  

  凸函数与准凸函数的区别：如果 \(f\) 是凸的，\(\nabla f(x) = 0\)，那么 \(x\) 是 \(f\) 的全局极小点，但对于准凸函数，此条件不成立：有可能 \(\nabla f(x) =0\)，但 \(x\) 不是 \(f\) 的全局极小点。

• 准凸函数的二阶条件（实际这里写的是二阶条件的部分逆）

  若函数 \(f\) 二阶可微，且对于所有的 \(x\in\mathrm{dom}\;f\) 且 \(y\in\mathbf{R}^n,y\ne 0\)​ ，满足

  \[y^T\nabla f(x)=0\Longrightarrow y^T\nabla^2 f(x)y>0 \]

  则 \(f\) 为准凸函数。也即要求二阶导 \(\nabla^2 f(x)\) 正定。

4.3 保准凸的算子

• 非负权值函数的最大值函数、逐点上确界
• 复合
• 最小值函数

参考

• 《Convex Optimization》