最优化方法_Part1

1 最优化问题概述

1.1 什么是最优化问题

最优化问题是决策问题，选择一些可以执行的策略来使得目标最优，一个最优化问题包括：

• 决策变量
• 一个或多个目标函数
• 一个由可行策略纽成的集合，可由等式或者不等式刻画

1.2 基本形式

1.2.1 视频中的形式

$$\{\begin{array}{ll}min\text{ or }max& f(\mathit{x})\\ \text{ s.t. }& g_i(\mathit{x})\le 0,i=1,\cdots ,m\\ & h_i(\mathit{x})=0,i=1,\cdots ,l\end{array}$$

其中，$\mathit{x}=(x_1,x_2,\cdots ,x_n{)}^{\mathrm{T}}\in \mathit{X}$是决策变量，$\mathit{X}$表示给定的集合，比如${\mathbb{R}}_{+}^n、\mathbb{Z}n$等。

• $f(\mathit{x})$即目标函数，$g_i(\mathit{x})\le 0,h_i(\mathit{x})=0$分别为不等式约束和等式约束
• 集合$\mathit{S}=\left\{\begin{array}{c}\mathit{x}\in X\mid g_i(\mathit{x})\le 0,i=1,\cdots ,m,h_i(\mathit{x})=0,i=1,\cdots ,l\end{array}\right\}$称为最优化问题的可行集(可行域)

1.2.2 参考其他文献的形式

$$\{\begin{array}{ll}\text{ min }& f(\mathit{x})\\ \text{ s.t.}& \mathit{x}\in \mathcal{X}\end{array}$$

其中，$\mathit{x}=(x_1,x_2,···,x_n{)}^{\mathrm{T}}\in {\mathbb{R}}^n$是决策变量，$f:{\mathbb{R}}^n\to \mathbb{R}$ 是目标函数，$\mathcal{X}\subseteq {\mathbb{R}}^n$是约束集合或可行域，可行域包含的点称为可行解或可行点。记号 s.t.是 “subject to”的缩写，专指约束条件。当$\mathcal{X}={\mathbb{R}}^n$时，上式称为无约束优化问题。集合$\mathcal{X}$通常可以由约束函数$c_i(\mathit{x}):{\mathbb{R}}^n\to \mathbb{R},i=1,2,···,m+l$表达为如下具体形式：

$$\begin{array}{rl}\mathcal{X}=\{x\in {\mathbb{R}}^n\mid c_i(x)⩽0,& i=1,2,\cdots ,m\\ c_i(x)=0,& i=m+1,m+2\cdots ,m+l\}\end{array}$$

参考资料1：课本——最优化：建模、算法与理论

参考资料2：https://blog.csdn.net/jbb0523/article/details/50596387

1.3 最优化问题分类

1.3.1 无约束优化/约束优化

• 无约束优化问题：没有约束条件
  • 常见求解方法：梯度下降法(最速下降法)、牛顿法、共轭梯度法等等
• 约束优化问题：在一定约束条件下求解目标函数的min OR max

易知，实际中最碰见的是约束优化问题，但是我们在课程中却要大量研究无约束优化问题，这个有两方面的原因：一是无约束优化问题求解相对简单；二是可以通过一定的变换将有约束转变为无约束优化。

1.3.2 线性/非线性优化

• 线性优化问题的一般形式

$$\{\begin{array}{ll}\text{ min }& \mathit{C}\mathit{x}\\ \text{ s.t.}& \mathit{A}\mathit{x}\mathbf{=}\mathit{b}\end{array}$$

单纯形方法：在数学优化领域中常用于线性规划问题的数值求解。由线性规划问题的可行集的特征来决定的(线性规划最优解存在时，那么最优解一定存在与问题可行集的顶点位置)，单纯性方法就是关注这些顶点。

参考资料：单纯形算法

• 非线性优化(例子说明)：均值-方差模型

1.3.3 连续优化/离散优化

• 连续优化：$\mathit{x}=(x_1,x_2,\cdots ,x_n{)}^{\mathrm{T}}\in \mathit{X}$中每一个$x_n$的取值是连续的
• 离散优化：$\mathit{x}=(x_1,x_2,\cdots ,x_n{)}^{\mathrm{T}}\in \mathit{X}$中每一个$x_n$的取值是离散的，比如$0-1$规划

1.3.4 单目标优化/多目标优化

• 单目标优化
• 多目标优化(均值-方差模型)常采用的办法：
  • 法1：转化为单目标，即可以将某些目标经过一定形式转化到约束条件中去。
  • 法2：想办法将多个目标融合为单个目标

1.3.5 动态规划

1.3.6 随机规划

参数中有不确定系数的优化问题。

1.3.7 鲁棒优化

1.4 最优化方法主要讲解内容

• 凸优化理论：凸集，凸函数，凸优化问题；
• 无约束优化问题的算法；
• 约束优化的最优性条件及对偶理论；
• 线性规划、二次规划算法；
• 约束优化的罚函数方法；
• 优化软件：CVX，CPLEX

1.5 预备知识

• 向量、矩阵、二次型等知识；
• 微积分知识；
• 简单的概率知识。

课后小问题：

• $n$元二次函数$f(\mathit{x})={\mathit{x}}^{\mathrm{T}}\mathit{H}\mathit{x}＋{\mathit{c}}^{\mathrm{T}}\mathit{x}$,其中$\mathit{H}$为$n$阶对称矩阵，$\mathit{c}$为$n$维向量；给出$f(\mathit{x})$的梯度和hesse炬阵?
• 设随机向量服从联合正态分布：$ϵ=({ϵ}_1,{ϵ}_2,\cdots ,{ϵ}_n)\sim N(\mu ,{\sigma }^2)$，令$\eta =x_1{ϵ}_1+\cdots +x_n{ϵ}_n$，给出$\eta$的$c$分位数。

2 凸集

在最优化范畴里面，凸优化问题是一类常见的且性质很好的(很多时候可以帮助我们解决非凸优化问题)。

如果目标函数$f(\mathit{x})$是一个凸函数，可行集$\mathit{S}$或者$\mathcal{X}$是凸集，通常来讲就是凸优化问题。

• 为什么凸优化问题具有比较好的性质呢？
  • 例子1：一元最小化问题：$\text{min }f(x),\text{ s.t. }x\in [a,b]$

凸函数	非凸函数

• • 例子2：二元最小化问题：$\text{min }f(x_1,x_2)=x_1^2+x_2^2,\text{ s.t. }x\in S$

凸集	非凸集
梯度：$$-▽f({\mathit{x}}^{\ast })$$	梯度：$$-▽f({\mathit{x}}^{\ast })$$
优化问题等价为：$\theta >90°\iff -▽f({\mathit{x}}^{\ast })(\mathit{x}\mathbf{-}{\mathit{x}}^{\mathbf{\ast }})\le 0,\mathrm{\forall }\mathit{x}\in S$	优化问题等价为：$\theta >90°\iff -▽f({\mathit{x}}^{\ast })(\mathit{x}\mathbf{-}{\mathit{x}}^{\mathbf{\ast }})\le 0,\mathrm{\forall }\mathit{x}\in S$

凸集：集合中的任意两点连线的点都在该集合中，则称该集合为凸集；凹集为非凸集。

2.1 凸集的定义

2.1.1 凸集定义的数学表示

凸集：对于任意的$x,y\in \mathit{C}$与任意$\lambda \in [0,1]$，有

$$\lambda x+(1-\lambda )y\in \mathit{C}$$

那么$\mathit{C}$为凸集。凸集中任意两点连线的点都在该集合中。

• 推广表示方法：

$${\lambda }_1{x}_1+\cdots +{\lambda }_k{x}_k\in \mathit{C},\mathrm{\forall }{x}_1,\cdots ,x_k\in \mathit{C}$$

其中，${\lambda }_i\ge 0,{\lambda }_1+\cdots +{\lambda }_k=1$。

2.1.2 凸组合

凸组合是指，假设$x_1,x_2,\cdots ,x_n$是一组对象（要根据讨论问题的背景来确定），${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_k$是$k$个常数，并且满足${\lambda }_i\ge 0,{\lambda }_1+\cdots +{\lambda }_k=1$，那么这些点的凸组合即一个这样的点：

$${\lambda }_1{x}_1+\cdots +{\lambda }_k{x}_k$$

就称为$x_1,x_2,\cdots ,x_n$的凸组合。注意区分线性组合,仿射组合,非负组合,凸组合。

通常你看到凸组合只意味着一个意思：线性组合，系数和为一

任意两个点的凸组合都在它们之间的线段上。

2.1.3 凸包

凸包是针对一个集合来说的。任意一个集合(不一定是凸集)$\mathit{C}$，其中的点的凸组合构成的集合就称为凸包。

点集的凸包等价于该点集的所有凸组合。

凸包一定是凸集合，通过凸包操作能够将非凸集合转变为凸集合。

2.2 常见凸集

2.2.1 超平面

• 定义：$n$维线性空间中维度为$n-1$的子空间，它可以把线性空间分割为不相交的两部分。

  这里的$n$必须大于$3$，其子空间才能称之为超平面。

  更直观理解超平面：其实就是平面中的直线、空间中的平面的推广。在三维坐标系，XoY平面把三维坐标系”分割”成两个空间，这个分割平面引申到一维，二维，四维空间…来，他就是一个超平面。

• 超平面方程推导：

$$\mathit{H}=\left\{\begin{array}{c}\mathit{x}|{\mathit{a}}^{\mathrm{T}}\mathit{x}=\mathit{b},(\mathit{a}\ne \mathbf{0})\end{array}\right\}$$

式中，${\mathit{a}}^{\mathrm{T}}$垂直于超平面$\mathit{x}$。

参考资料1：机器学习01-超平面理解

参考资料2：超平面是什么？——理解超平面（SVM开篇之超平面详解）

2.2.2 半空间

$${\mathit{H}}^{+}=\left\{\begin{array}{c}\mathit{x}|{\mathit{a}}^{\mathrm{T}}\mathit{x}\ge \mathit{b},(\mathit{a}\ne \mathbf{0})\end{array}\right\}$$

$${\mathit{H}}^{-}=\left\{\begin{array}{c}\mathit{x}|{\mathit{a}}^{\mathrm{T}}\mathit{x}\le \mathit{b},(\mathit{a}\ne \mathbf{0})\end{array}\right\}$$

2.2.3 多面体

• 定义：多个线性不等式所刻画的集合

$$\left\{\begin{array}{c}\mathit{x}\mid {\mathit{a}}_i^{\mathrm{T}}\mathit{x}\le {\mathit{b}}_i,i=1,\cdots ,m\end{array}\right\}$$

注意：线性等式刻画的集合也是多面体，因为等式约束可以转换为不等式约束，如

$$a_i^{T}x=b_i\iff \{\begin{array}{l}{a}_i^{T}x\le b_i\\ -a_i^{T}x\le -b_i\end{array}$$

2.2.4 球体(Euclidean）ball with center ${\mathit{x}}_c$and radius r

$$B({\mathit{x}}_c,r)=\{\mathit{x}\mid {\Vert \mathit{x}-{\mathit{x}}_c\Vert }_2\le r\}=\{{\mathit{x}}_c+r\mathit{u}\mid \Vert \mathit{u}{\Vert }_2\le 1\}$$

式中，${\mathit{x}}_c$为球心，$r$为半径，$\mathit{u}$表示某一距离长度范围。

2.2.5 椭球(Ellipsoid)

$$\{\mathit{x}\mid {(\mathit{x}-{\mathit{x}}_c)}^T{\mathit{P}}^{-1}(\mathit{x}-{\mathit{x}}_c)\le 1\}$$

其中$\mathit{P}$为正定矩阵；椭球的半轴长为${\sqrt{\lambda }}_i$(${\lambda }_i$为正定矩阵的特征值)。

2.2.6 二阶(次)锥 Second-order cone, ice-cream cone

假设有一个$n+1$维的锥，其前面$n$维写为$\mathit{x}$，最后第$n+1$维分量记为$t$。

$$\{(\mathit{x},t)\mid ||\mathit{x}|{|}_2\le t\}$$

什么是锥：

如果$\mathit{x}\in \mathit{C}$，那么若有$\lambda \mathit{x}\in \mathit{C},\mathrm{\forall }\lambda \ge 0$，此时就称为锥。

2.2.7 半定矩阵锥

• ${\mathit{S}}^n$：所有$n$阶对称矩阵组成的集合；

• ${\mathit{S}}_{+}^n=\left\{\begin{array}{c}\mathit{X}\in {\mathit{S}}^n\mid \mathit{X}⪰0\end{array}\right\}$：所有半正定矩阵组成的集合，其中：$\mathit{X}⪰0\iff {\mathit{z}}^T\mathit{X}\mathit{z}\ge 0,\mathrm{\forall }\mathit{z}$；

• ${\mathit{S}}_{++}^n=\left\{\begin{array}{c}\mathit{X}\in {\mathit{S}}^n\mid \mathit{X}\succ 0\end{array}\right\}$：所有正定矩阵的集合，其中：$\mathit{X}\succ 0\iff {\mathit{z}}^T\mathit{X}\mathit{z}>0,\mathrm{\forall }\mathit{z}$。

半定矩阵锥常用于半定规划里面(一种常见的凸优化问题)。

• 例子：$\left[\begin{array}{cc}x& y\\ y& x\end{array}\right]\in {\mathit{S}}_{+}^2$，如下图所示。

小问题：

线性规划

$$min\left\{\begin{array}{c}{\mathit{c}}^{\mathit{T}}\mathit{x}\mid \mathit{A}\mathit{x}=\mathit{b},\mathit{x}\ge 0\end{array}\right\}$$

的最优解组成的集合为$\mathit{S}$，$\mathit{S}$是凸集合吗？【答案——$\mathit{S}$是凸集合】

证明：

$$\begin{array}{rl}& \mathrm{\forall }{\mathit{x}}_1,{\mathit{x}}_2\in \mathit{S},\mathrm{有}{\mathit{c}}^T{\mathit{x}}_1={\mathit{c}}^T{\mathit{x}}_2={\mathit{v}}^{\ast }\\ \\ & \mathrm{\forall }\lambda \in [0,1],\mathrm{验}\mathrm{证}\lambda {\mathit{x}}_1+(1-\lambda ){\mathit{x}}_2\mathrm{是}\mathrm{否}\mathrm{属}\mathrm{于}\mathit{S}\\ \\ & c^T(\lambda {\mathit{x}}_1+(1-\lambda ){\mathit{x}}_2)\\ & =\lambda c^T{\mathit{x}}_1+(1-\lambda )c^T{\mathit{x}}_2\\ & ={\mathit{v}}^{\ast }\in \mathit{S}\end{array}$$

2.3 保持集合凸性的运算

2.3.1 第一种

设${\mathit{C}}_1,{\mathit{C}}_2\subset {\mathbb{R}}^n$是凸集，$a\in \mathbb{R}$则

• （1）${\mathit{C}}_1\cap {\mathit{C}}_2=\{\mathit{x}\mid \mathit{x}\in {\mathit{C}}_1,\mathit{x}\in {\mathit{C}}_2\}$是凸集
• （2）${\mathit{C}}_1\pm {\mathit{C}}_2=\{\mathit{x}\mathbf{\pm }\mathit{y}\mid \mathit{x}\in {\mathit{C}}_1,\mathit{y}\in {\mathit{C}}_2\}$是凸集

问题：$\mathit{S}=\{\mathit{x}\in {\mathbb{R}}^n\mid |p(t)|\le 1,|t\mid \le \pi /3\}$，其中$p(t)=\sum _{i=1}^n{x}_i\cos it$是否为凸集？

答：带入$p(t)$得到：$-1\le x_1\cos t+x_2\cos 2t+\cdots +x_n\cos nt\le 1$

上不等式表示两个半空间交集。如果$t$只有两种取值，那么就是两个上不等式刻画的集合的交；事实上$t$无穷多取值，那么就是无穷多个上不等式刻画的集合的交，即结果仍然是凸集。

2.3.2 仿射变换

线性变换是特殊的仿射变换。或者说仿射变换就是线性变换加平移。

假设$f:{\mathbb{R}}^n\to {\mathbb{R}}^m$是仿射函数，即$f(\mathit{x})=\mathit{A}\mathit{x}\mathbf{+}\mathit{b},\mathit{A}\in {\mathbb{R}}^{m\times n},\mathit{b}\in {\mathbb{R}}^m$

• $\mathit{C}$$\mathrm{为}\ast \ast \mathrm{凸}\mathrm{集}\ast \ast$$\Rightarrow f(\mathit{C})=\{f(\mathit{x})\mid \mathit{x}\in \mathit{C}\}$是凸集
• $\mathit{C}$$\mathrm{为}\ast \ast \mathrm{凸}\mathrm{集}\ast \ast$$\Rightarrow f^{-1}(\mathit{C})=\{\mathit{x}\mid f(\mathit{x})\in \mathit{C}\}$是凸集

特殊仿射变换：

• 放缩scaling：$\alpha \mathit{C}=\{\alpha \mathit{x}\mid \mathit{x}\in \mathit{C}\}$
• 平移translation：${\mathit{x}}_0+\mathit{C}=\{{\mathit{x}}_0+\mathit{x}\mid \mathit{x}\in \mathit{C}\}$
• 投影projection：$\{x^1\mid \left(\begin{array}{l}{x}^1\\ x^2\end{array}\right)\in \mathit{C}\}$

2.4 凸集的基本性质——投影定理

2.4.1 投影定理概念

设$\mathit{C}\subset {\mathbb{R}}^n$是一个非空闭凸集，$\mathit{y}\in {\mathbb{R}}^n,\mathit{y}\notin \mathit{C}$，则：

（1）存在唯一的一点$\bar{\mathit{x}}\in \mathit{C}$，使得$\bar{\mathit{x}}$是$\mathit{y}$到$\mathit{C}$的距离最小的点(即投影点)，即有

$$||\bar{\mathit{x}}-\mathit{y}||=inf\left\{\begin{array}{c}||\mathit{x}-\mathit{y}||\mid \mathit{x}\in \mathit{C}\end{array}\right\}>0$$

（2）$\bar{\mathit{x}}$是$\mathit{y}$到$\mathit{C}$的投影点(最小距离点)的充要条件是：

$$(\mathit{x}-\bar{\mathit{x}}{)}^{\mathrm{T}}(\mathit{y}-\bar{\mathit{x}})\le 0,\mathrm{\forall }\mathit{x}\in \mathit{C}$$

2.4.2 投影定理的证明

不妨设，$\bar{\mathit{x}}、{\mathit{x}}^{\prime }$都是投影点，则：$||\bar{\mathit{x}}-\mathit{y}||=||{\mathit{x}}^{\prime }-\mathit{y}||$

存在$\hat{\mathit{x}}$在$\bar{\mathit{x}}、{\mathit{x}}^{\prime }$两点之间，并作为连接三角形的中垂线，而小于其他两条边，从而小于投影点距离，矛盾！

因此投影点是唯一的。

2.4.3 点与凸集的分离

• 分离

设${\mathit{C}}_1,{\mathit{C}}_2\subset {\mathbb{R}}^n$是两个非空凸集，若非零$\mathit{a}\in {\mathbb{R}}^n$和$\mathit{b}$使得：

$${\mathit{a}}^{\mathbf{T}}\mathit{x}\ge \mathit{b},\mathrm{\forall }\mathit{x}\in {\mathit{C}}_1,{\mathit{a}}^{\mathbf{T}}\mathit{z}\le \mathit{b},\mathrm{\forall }\mathit{z}\in {\mathit{C}}_2$$

$$\Updownarrow$$

$${\mathit{a}}^{\mathbf{T}}\mathit{x}\ge {\mathit{a}}^{\mathbf{T}}\mathit{z},\mathrm{\forall }\mathit{x}\in {\mathit{C}}_1,\mathrm{\forall }\mathit{z}\in {\mathit{C}}_2$$

则称超平面$\mathit{H}=\left\{\begin{array}{c}\mathit{x}\mid {\mathit{a}}^{\mathbf{T}}\mathit{x}=\mathit{b}\end{array}\right\}$分离集合${\mathit{C}}_1,{\mathit{C}}_2$。

• 严格分离

设${\mathit{C}}_1,{\mathit{C}}_2\subset {\mathbb{R}}^n$是两个非空凸集，若非零$\mathit{a}\in {\mathbb{R}}^n$和$\mathit{b}$使得：

$${\mathit{a}}^{\mathbf{T}}\mathit{x}>\mathit{b},\mathrm{\forall }\mathit{x}\in {\mathit{C}}_1,{\mathit{a}}^{\mathbf{T}}\mathit{z}<\mathit{b},\mathrm{\forall }\mathit{z}\in {\mathit{C}}_2$$

$$\Updownarrow$$

$${\mathit{a}}^{\mathbf{T}}\mathit{x}>{\mathit{a}}^{\mathbf{T}}\mathit{z},\mathrm{\forall }\mathit{x}\in {\mathit{C}}_1,\mathrm{\forall }\mathit{z}\in {\mathit{C}}_2$$

则称超平面$\mathit{H}=\left\{\begin{array}{c}\mathit{x}\mid {\mathit{a}}^{\mathbf{T}}\mathit{x}=\mathit{b}\end{array}\right\}$严格分离集合${\mathit{C}}_1,{\mathit{C}}_2$。

小问题1：两个不相交的非空凸集一定能分离吗？

答：一定能分离。

小问题2：设$\mathit{C}\subset {\mathbb{R}}^n$是两个非空闭凸集，$\mathit{y}\notin \mathit{C}$，是否存在超平面分离$\mathit{y}$ 和$\mathit{C}$？

答：存在

2.5 支撑超平面定理

符号	意义
$\partial \mathit{C}$	集合$\mathit{C}$的边界
$\text{int }\mathit{C}$	集合$\mathit{C}$所有内点表示的集合
$\mathit{c}\mathbf{\mid }\mathit{C}$	闭包，集合$\mathit{C}$内点、边界点放在一起组成的集合(有界闭集合)

设$\mathit{C}\subset {\mathbb{R}}^n$是非空凸集，$\bar{\mathit{x}}\in \partial \mathit{C}$(意思是$\bar{\mathit{x}}$是$\mathit{C}$的边界点)，则存在非零向量$\mathit{a}\in {\mathbb{R}}^n$使得：

$${\mathit{a}}^{\mathbf{T}}\mathit{x}\le {\mathit{a}}^{\mathbf{T}}\bar{\mathit{x}},\mathrm{\forall }\mathit{x}\in \mathit{c}|\mathit{C}$$

其中，$\mathit{c}|\mathit{C}$是凸集$\mathit{C}$的全域，称为闭包，包括内部和边界。当$\mathit{C}$不是紧的的时候，$\mathit{c}|\mathit{C}$也是指$\mathit{C}$的全域，即包括$\mathit{C}$不包括的边界。

此时，也称超平面$\mathit{H}=\left\{\begin{array}{c}\mathit{x}\in {\mathbb{R}}^n\mid {\mathit{a}}^{\mathbf{T}}\mathit{x}={\mathit{a}}^{\mathbf{T}}\bar{\mathit{x}}\end{array}\right\}$是集合$\mathit{C}$在$\bar{\mathit{x}}$处的支撑超平面。

通俗来说，该定理描述为：在凸集$\mathit{C}$的边界一点$\bar{\mathit{x}}$寻找一个超平面$\mathit{H}$，将凸集$\mathit{C}$放在超平面负半空间中。

• 证明：

由于$\bar{\mathit{x}}\in \partial \mathit{C}$，则${\mathit{x}}_k\to \bar{\mathit{x}}$(点列，收敛到$\bar{\mathit{x}}$)，且${\mathit{x}}_k\notin \mathit{c}|\mathit{C}$

因为${\mathit{x}}_k\notin \mathit{c}|\mathit{C}$，则存在${\mathit{a}}_k(\ne \mathbf{0})$（边界点法向量），使得：

$${\mathit{a}}_{\mathit{k}}^{\mathbf{T}}\mathit{x}\le {\mathit{a}}_{\mathit{k}}^{\mathbf{T}}{\mathit{x}}_k,\mathrm{\forall }\mathit{x}\in \mathit{c}|\mathit{C}$$

不妨设，$||{\mathit{a}}_k||=1$，则$\left\{\begin{array}{c}{\mathit{a}}_k\end{array}\right\}$存在收敛子列。

令上式中$k\to \mathrm{\infty }$得：

$${\mathit{a}}^{\mathbf{T}}\mathit{x}\le {\mathit{a}}^{\mathbf{T}}\bar{\mathit{x}},\mathrm{\forall }\mathit{x}\in \mathit{c}|\mathit{C}$$

参考链接：https://blog.csdn.net/qq_42518956/article/details/113943943

2.6 凸集之Farkas引理

Farkas引理好像可以用于升维度。

2.6.1 Farkas引理定义

给定矩阵${\mathit{A}}_{m\times n}$以及$n$维向量$\mathit{c}$，则以下两个问题有且只有一个有解：

• 问题1——$\mathit{A}\mathit{x}\mathbf{\le }\mathbf{0},{\mathit{c}}^{\mathit{T}}\mathit{x}\mathbf{>}\mathbf{0}$
• 问题2——${\mathit{A}}^{\mathit{T}}\mathit{y}\mathbf{=}\mathit{c},\mathit{y}\mathbf{\ge }\mathbf{0}$

Farkas引理在几何上讨论矩阵$\mathit{A}$的行向量与向量$\mathit{c}$的位置关系。

矩阵

$$\mathit{A}=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]=\left[\begin{array}{c}{\mathit{a}}_1^{\mathrm{T}}\\ {\mathit{a}}_2^{\mathrm{T}}\\ ⋮\\ {\mathit{a}}_m^{\mathrm{T}}\end{array}\right]$$

其中，${\mathit{a}}_i$为$n$维列向量，将其带入问题1、2可得：

• 问题1——${\mathit{a}}_{\mathit{i}}^{\mathit{T}}\mathit{x}\mathbf{\le }\mathbf{0}(i=1,2,\cdots ,m),{\mathit{c}}^{\mathit{T}}\mathit{x}\mathbf{>}\mathbf{0}$
• 问题2——${\mathit{A}}^{\mathit{T}}\mathit{y}=({\mathit{a}}_1,{\mathit{a}}_2,\cdots ,{\mathit{a}}_m)\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]=\mathit{c},y_i\ge 0(i=1,2,\cdots ,m)$

情况1	情况2

2.6.2 Farkas引理证明

• 证明方法1：

• 证明方法2：利用线性规划对偶理论

2.6.3 Farkas引理的推论

• Gordan定理：给定矩阵${\mathit{A}}_{m\times n}$，则以下两个问题有且只有一个有解：

  • 问题1——$\mathit{A}\mathit{x}\mathbf{<}\mathbf{0}$
  • 问题2——${\mathit{A}}^{\mathit{T}}\mathit{y}\mathbf{=}\mathbf{0},\mathit{y}\mathbf{\ge }\mathbf{0},\mathit{y}\mathbf{\ne }\mathbf{0}$

• 给定矩阵${\mathit{A}}_{m\times n}$以及$n$维向量以及$n$维向量$\mathit{c}$，则以下两个问题有且只有一个有解：

  • 问题1——$\mathit{A}\mathit{x}\mathbf{\le }\mathbf{0},\mathit{x}\mathbf{\ge }\mathbf{0},{\mathit{c}}^{\mathit{T}}\mathit{x}\mathbf{>}\mathbf{0}$
  • 问题2——${\mathit{A}}^{\mathit{T}}\mathit{y}\mathbf{\ge }\mathit{c},\mathit{y}\mathbf{\ge }\mathbf{0}$

• 其他还有好几个推论。。。

3 凸函数

3.1 凸函数与凹函数定义

3.1.1 凸函数

设$\mathit{C}$为非空凸集，$f$是定义在$\mathit{C}$上的函数，如果对任意的$\mathit{x},\mathit{y}\in \mathit{C},\alpha \in (0,1)$，均有：

$$f(\alpha \mathit{x}+(1-\alpha )\mathit{y})\le \alpha f(\mathit{x})+(1-\alpha )f\mathbf{(}y)$$

则称$f$为$\mathit{C}$上的凸函数。

3.1.2 严格凸函数

$$f(\alpha \mathit{x}+(1-\alpha )\mathit{y})<\alpha f(\mathit{x})+(1-\alpha )f\mathbf{(}y)$$

3.1.3 凹函数

设$\mathit{C}$为非空凸集，$f$是定义在$\mathit{C}$上的函数，如果对任意的$\mathit{x},\mathit{y}\in \mathit{C},\alpha \in (0,1)$，均有：

$$f(\alpha \mathit{x}+(1-\alpha )\mathit{y})\ge \alpha f(\mathit{x})+(1-\alpha )f\mathbf{(}y)$$

则称$f$为$\mathit{C}$上的凹函数。

3.1.4 严格凹函数

$$f(\alpha \mathit{x}+(1-\alpha )\mathit{y})>\alpha f(\mathit{x})+(1-\alpha )f\mathbf{(}y)$$

若$-f$是凸函数，那么$f$为凹函数。

如果原来要求解一个凹函数$f(x)$的最大值，则可以转换为凸函数的最小值：

$$maxf(x)⟺min-f(x)$$

3.2 常见凸函数

3.2.1 线性函数

$$f(\mathit{x})={\mathit{a}}^{\mathrm{T}}\mathit{x}+b$$

该函数很特殊，它既唯一一类是凸函数又是凹函数。

3.2.2 二次函数

$$f(\mathit{x})={\mathit{x}}^{\mathrm{T}}\mathit{Q}\mathit{x}+{\mathit{a}}^{\mathrm{T}}\mathit{x}+b,\mathit{Q}\in {\mathit{S}}_{+}^n$$

其中$\mathit{Q}\in {\mathit{S}}_{+}^n$是指$\mathit{Q}$为半正定矩阵。该式子涉及二次型的知识。

3.2.3 最小二乘函数

$$f(\mathit{x})=||\mathit{A}\mathit{x}\mathbf{-}\mathit{b}|{|}_2^2$$

3.2.4 $p$范数

$$f(\mathit{x})={\left(\sum _{i=1}^n|x_i{|}^p\right)}^{\frac{1}{p}},p\ge 1$$

0范数：$f(\mathit{x})=||\mathit{x}|{|}_0$表示向量$\mathit{x}$中0元素的个数。

3.3 凸函数的性质

3.3.1 连续性

一个函数若是凸函数，那么该函数一定是连续函数。

3.3.2 性质2

$f(\mathit{x})$为凸函数，等价于对任意的$\mathit{x}\mathbf{,}\mathit{y}\in {\mathbb{R}}^n$，一元函数：

$$\phi (\alpha )=f(\mathit{x}+\alpha \mathit{y})$$

为凸函数。相当于把函数竖着切一下得到的切面？？？

3.3.3 性质3——判定凸函数的一阶条件

$f(\mathit{x})$为$\mathit{C}$上的凸函数的充要条件为：

$$f(\mathit{y})\ge f(\mathit{x})+▽f(\mathit{x}{)}^{\mathrm{T}}(\mathit{y}-\mathit{x}),\mathrm{\forall }\mathit{x}\mathbf{,}\mathit{y}\mathbf{\in }\mathit{C}$$

几何上的意义就是$f(\mathit{x})$要在经过某一点的切面的上方，注意到上式中右式为函数在点处的一阶泰勒展开，在$n=1$情形下的几何意义如下图：

对应的切线方程为：$g(y)=f(x)+▽f(x{)}^{\mathrm{T}}(y-x)$

证明：参考网络上的一些博客/b站视频。

3.3.4 性质4——判定凸函数的二阶条件

一阶条件在工作中很少被使用，我们往往使用的是二阶条件来判定函数的凸性。

二阶条件涉及到了Hessian matrix，它是这样定义的。

在数学中，海森矩阵(Hessian matrix 或 Hessian)是一个多变量实值函数的二阶偏导数组成的方块矩阵，假设有一实数函数$f(x_1,x_2,...,x_n)$，如果$f$所有的二阶偏导数都存在，那么$f$的海森矩阵是长下面这样：

设$\mathit{C}\in {\mathbb{R}}^n$是非空开凸集，$f(\mathit{x})$在$\mathit{C}$上二阶连续可微，则$f(\mathit{x})$是$\mathit{C}$上的凸函数，等价于$f(\mathit{x})$的二阶Hessian matrix：

$${▽}^{2}f(\mathit{x})\ge 0,\mathrm{\forall }\mathit{x}\in C$$

即函数的二阶Hessian matrix需要是半正定的。

对于$\mathit{C}\in \mathbb{R}$上的函数, 上式退化为${\displaystyle \frac{\mathrm{d}}{\mathrm{d}x}}\left({\displaystyle \frac{\mathrm{d}f}{\mathrm{d}x}}\right)=f\prime \prime (x)⩾0$. 该条件表明函数$f$的导数非减，从几何上解释就是函数$f$在点$x$处具有向上(正)的曲率。

3.4 保持函数凸性的运算

3.4.1 Perspective function

若$f(\mathit{x})$为凸函数，则：

$$g(\mathit{x},t)=tf({\displaystyle \frac{\mathit{x}}{t}}),t>0$$

为凸函数，设$f(x)=x^2$，则$g(x,t)$的可视化如下图所示。

3.4.2 非负组合

设有一组凸函数：$f_1(\mathit{x}),f_2(\mathit{x}),\cdots ,f_m(\mathit{x})$，则有：

$$g(\mathit{x})=w_1{f}_1(\mathit{x})+w_2{f}_2(\mathit{x})+\cdots +w_m{f}_m(\mathit{x}),w_i\ge 0$$

为凸函数。

3.4.3 凸函数求最大

设有一组凸函数：$f_1(\mathit{x}),f_2(\mathit{x}),\cdots ,f_m(\mathit{x})$，则有：

$$g(\mathit{x})=max\left\{\begin{array}{c}{f}_1(\mathit{x}),f_2(\mathit{x}),\cdots ,f_m(\mathit{x})\end{array}\right\}$$

为凸函数。

3.5 凸集与凸函数的关系

讨论凸集和凸函数的两个工具：凸集，上(镜)图Epigraph

3.5.1 水平集

任意一个函数(不一定是凸函数)$f(\mathit{x})$的水平集：

$${\mathit{L}}_a=\left\{\begin{array}{c}\mathit{x}\mid f(\mathit{x})\le a,\mathit{x}\in C\end{array}\right\}$$

其中$a$为给定的水平值。

$f(\mathit{x})$是凸函数，则其水平集均为凸集。反之，则不成立，即函数不是凸函数时，其水平集也可能是凸集。

3.5.2 上(镜)图Epigraph

函数$f(\mathit{x})$的Epigraph定义为：

$$\text{epi}(f)=\left\{\begin{array}{c}(\mathit{x},\mathit{y}{)}^{\mathrm{T}}\mid f(\mathit{x})\le \mathit{y},\mathit{x}\in \mathit{C}\end{array}\right\}$$

$$f(\mathit{x})\mathrm{是}\mathrm{凸}\mathrm{函}\mathrm{数}\mathrm{为}\mathrm{凸}\mathrm{集}⟺\text{epi}(f)\mathrm{为}\mathrm{凸}\mathrm{集}\mathrm{合}$$

小问题：给定非空闭凸集$\mathit{C}$，证明距离函数$f(\mathit{y})$是凸函数，其中：

$$f(\mathit{y})=min\left\{\begin{array}{c}||\mathit{y}\mathbf{-}\mathit{x}|{|}_2\mid \mathit{x}\in \mathit{C}\end{array}\right\}$$

4 凸优化问题

4.1 凸优化问题通式

考虑最优化问题(P)：

$$\{\begin{array}{ll}\text{ min }& f(\mathit{x})\\ \text{ s.t. }& g_i(\mathit{x})\le 0,i=1,\cdots ,m\\ & h_i(\mathit{x})=0,i=1,\cdots ,l\end{array}$$

记P的可行域为$\mathit{S}=\left\{\begin{array}{c}\mathit{x}\in {\mathbb{R}}^n\mid g_i(\mathit{x})\le 0,i=1,\cdots ,m,h_i(\mathit{x})=0,i=1,\cdots ,l\end{array}\right\}$，则当$f(\mathit{x}),g_i(\mathit{x})$是凸函数，$h_i(\mathit{x})$是线性函数时，问题(P)称为凸优化问题。

• 为什么特别强调不等式约束条件$g_i(\mathit{x})$是凸函数呢？

首先，$g_i(\mathit{x})\le 0$刻画的是水平值取0时的一个水平集；又知当函数为凸函数时，其水平集均为凸集合。

• 为什么特别强调等式约束条件$h_i(\mathit{x})$是线性函数呢？

等式约束当为线性函数是，就相当于$h_i(\mathit{x})={\mathit{a}}^{\mathrm{T}}\mathit{x}+\mathit{b}=0$，这种形式所刻画的集合是一个超平面，而超平面也是一个凸集合。

由以上两个小问题分析可知，在上面的条件下，由不等式约束和等式约束所刻画的集合$\mathit{S}$也是一个凸集合，这是凸优化问题的一个特点。

4.2 区分凸优化与非凸优化

区分凸优化与非凸优化是一个非常重要的事情，若是我们能够判断出该问题为凸优化问题，那么就能利用凸优化很多很好的性质进行求解分析问题。下面介绍凸优化问题的两个比较好的性质。

4.2.1 局部最优即全局最优

对于凸优化问题，其局部最优解就是全局最优解。

• 局部最优解

设现在有一个问题可行解为$\bar{\mathit{x}}$满足：$f(\bar{\mathit{x}})\le f(\mathit{x}),\mathrm{\forall }\mathit{x}\in \mathit{S}\cap {\mathit{N}}_{ϵ}(\bar{\mathit{x}})$即在$\bar{\mathit{x}}$很小的范围内的函数值都要大于$\bar{\mathit{x}}$处的函数值，此时$\bar{\mathit{x}}$为局部最优解。

• 全局最优解

设现在有一个问题可行解为${\bar{\mathit{x}}}^{\ast }$满足：$f({\bar{\mathit{x}}}^{\ast })\le f(\mathit{x}),\mathrm{\forall }\mathit{x}\in \mathit{S}$即在整个可行域范围内的函数值都要大于${\bar{\mathit{x}}}^{\ast }$处的函数值，此时${\bar{\mathit{x}}}^{\ast }$为全局最优解。

证明：

设对于凸优化，$\bar{\mathit{x}}$是局部最优解，但不是全局最优，即存在${\mathit{x}}^{\ast }$使得$f({\mathit{x}}^{\ast })<f(\bar{\mathit{x}}),\mathrm{\forall }\mathit{x}\in \mathit{S}$，取$\lambda \in (0,1)$，则有：

$$\begin{array}{rl}f(\bar{\mathit{x}}+\lambda ({\mathit{x}}^{\ast }-\bar{\mathit{x}}))& =f(\lambda {\mathit{x}}^{\ast }+(1-\lambda )\bar{\mathit{x}}))\\ & \le \lambda f\left({\mathit{x}}^{\ast }\right)+(1-\lambda )f(\bar{\mathit{x}})\\ & <f(\bar{\mathit{x}})\end{array}$$

当$\lambda \to 0$时，$(\bar{\mathit{x}}+\lambda ({\mathit{x}}^{\ast }-\bar{\mathit{x}}))$就非常趋近与$\bar{\mathit{x}}$，即在$\bar{\mathit{x}}$的邻域里面。那么就可以得出结论：凸优化的局部最优一定时全局最优，不然后产生矛盾。

4.2.2 凸优化问题最优性条件

最优性条件其实就是在讨论优化问题的最优解要满足的条件：充分条件、必要条件、充要条件。

设${\bar{\mathit{x}}}^{\ast }\in \mathit{S}$为某一最优化问题的最优解，则等价于(充要条件)：

$$▽f({\bar{\mathit{x}}}^{\ast }{)}^{\mathrm{T}}(\mathit{x}-{\bar{\mathit{x}}}^{\ast })\ge 0,\mathrm{\forall }\mathit{x}\in \mathit{S}$$

证明——充分性：已知$▽f({\bar{\mathit{x}}}^{\ast }{)}^{\mathrm{T}}(\mathit{x}-{\bar{\mathit{x}}}^{\ast })\ge 0,\mathrm{\forall }\mathit{x}\in \mathit{S}$，求证此时${\bar{\mathit{x}}}^{\ast }\in \mathit{S}$为某一最优化问题的最优解。

首先$f({\bar{\mathit{x}}}^{\ast })+▽f({\bar{\mathit{x}}}^{\ast }{)}^{\mathrm{T}}(\mathit{x}-{\bar{\mathit{x}}}^{\ast })$是一个经过$({\bar{\mathit{x}}}^{\ast },f({\bar{\mathit{x}}}^{\ast }))$点的切平面，因为目标函数$f$是凸函数，则函数在其切平面的上方，即满足：

$$f(\mathit{x})\ge f({\bar{\mathit{x}}}^{\ast })+▽f({\bar{\mathit{x}}}^{\ast }{)}^{\mathrm{T}}(\mathit{x}-{\bar{\mathit{x}}}^{\ast })\ge f({\bar{\mathit{x}}}^{\ast }),\mathrm{\forall }\mathit{x}\in \mathit{S}$$

即，对于任意$\mathit{x}$都有$f(\mathit{x})\ge f({\bar{\mathit{x}}}^{\ast })$，即${\bar{\mathit{x}}}^{\ast }\in \mathit{S}$为最优化问题的最优解。

证明——必要性：已知${\bar{\mathit{x}}}^{\ast }\in \mathit{S}$为某一最优化问题的最优解，求证$▽f({\bar{\mathit{x}}}^{\ast }{)}^{\mathrm{T}}(\mathit{x}-{\bar{\mathit{x}}}^{\ast })\ge 0,\mathrm{\forall }\mathit{x}\in \mathit{S}$。

(反证法)：设存在$\bar{\mathit{x}}\in \mathit{S}$使得$▽f({\bar{\mathit{x}}}^{\ast }{)}^{\mathrm{T}}(\bar{\mathit{x}}-{\bar{\mathit{x}}}^{\ast })<0$，$\lambda \in (0,1)$

$$f({\bar{\mathit{x}}}^{\ast }+\lambda (\bar{\mathit{x}}-{\bar{\mathit{x}}}^{\ast }))\stackrel{\mathrm{泰}\mathrm{勒}\mathrm{展}\mathrm{开}}{=}f({\bar{\mathit{x}}}^{\ast })+\lambda ▽f({\bar{\mathit{x}}}^{\ast })(\mathit{x}-{\bar{\mathit{x}}}^{\ast })+o(\lambda ||\mathit{x}-{\bar{\mathit{x}}}^{\ast })||)$$

整理可得：

$$\frac{f({\bar{\mathit{x}}}^{\ast }+\lambda (\bar{\mathit{x}}-{\bar{\mathit{x}}}^{\ast }))-f({\bar{\mathit{x}}}^{\ast })}{\lambda }=▽f({\bar{\mathit{x}}}^{\ast })(\mathit{x}-{\bar{\mathit{x}}}^{\ast })+\frac{o(\lambda ||\mathit{x}-{\bar{\mathit{x}}}^{\ast })||)}{\lambda }$$

当$\lambda \to 0$时，${\displaystyle \frac{o(\lambda ||\mathit{x}-{\bar{\mathit{x}}}^{\ast })||)}{\lambda }}\to 0$，$▽f({\bar{\mathit{x}}}^{\ast })(\mathit{x}-{\bar{\mathit{x}}}^{\ast })<0$，则$▽f({\bar{\mathit{x}}}^{\ast })(\mathit{x}-{\bar{\mathit{x}}}^{\ast })+{\displaystyle \frac{o(\lambda ||\mathit{x}-{\bar{\mathit{x}}}^{\ast })||)}{\lambda }}<0$，此时等式左边${\displaystyle \frac{f({\bar{\mathit{x}}}^{\ast }+\lambda (\bar{\mathit{x}}-{\bar{\mathit{x}}}^{\ast }))-f({\bar{\mathit{x}}}^{\ast })}{\lambda }}<0$，即我们找到比$f({\bar{\mathit{x}}}^{\ast })$函数值更小的，即与${\bar{\mathit{x}}}^{\ast }$是最优解矛盾。

几何解释：

$${\bar{\mathit{x}}}^{\ast }\in \mathit{S}\mathrm{是}\mathrm{最}\mathrm{优}\mathrm{解}$$

$$\Updownarrow$$

$$▽f({\bar{\mathit{x}}}^{\ast }{)}^{\mathrm{T}}(\mathit{x}-{\bar{\mathit{x}}}^{\ast })\ge 0,\mathrm{\forall }\mathit{x}\in \mathit{S}$$

$$\Updownarrow$$

$$-▽f({\bar{\mathit{x}}}^{\ast }{)}^{\mathrm{T}}{\bar{\mathit{x}}}^{\ast }\ge -▽f({\bar{\mathit{x}}}^{\ast }{)}^{\mathrm{T}}\mathit{x},\mathrm{\forall }\mathit{x}\in \mathit{S}$$

$$\Updownarrow$$

$$\mathrm{令}\mathit{\alpha }=-▽f({\bar{\mathit{x}}}^{\ast })$$

$$\Updownarrow$$

$${\mathit{\alpha }}^{\mathrm{T}}{\bar{\mathit{x}}}^{\ast }\ge {\mathit{\alpha }}^{\mathrm{T}}\mathit{x},\mathrm{\forall }\mathit{x}\in \mathit{S}$$

由上面的等价表达可知，若$\mathit{\alpha }\ne \mathbf{0}(▽f({\bar{\mathit{x}}}^{\ast })\ne \mathbf{0})$，则就找到了一个支撑超平面，该支撑超平面经过${\bar{\mathit{x}}}^{\ast }$，在该点处恰好支撑整个凸集合$\mathit{S}$。

几类特殊凸问题的最优性条件：

• 无约束凸优化$minf(\mathit{x})\text{ over }{\mathbb{R}}^n$：${\bar{\mathit{x}}}^{\ast }\mathrm{最}\mathrm{优}⟺▽f({\bar{\mathit{x}}}^{\ast })=\mathbf{0}$

  • 根据前面的条件，可知：$▽f({\bar{\mathit{x}}}^{\ast }{)}^{\mathrm{T}}(\mathit{x}-{\bar{\mathit{x}}}^{\ast })\ge 0$，由于没有约束条件，即$(\mathit{x}-{\bar{\mathit{x}}}^{\ast })$可以取遍${\mathbb{R}}^n$中的所有向量，那么此时$▽f({\bar{\mathit{x}}}^{\ast })=\mathbf{0}$。

• 等式约束凸问题$min\left\{\begin{array}{c}f(\mathit{x})\mid \mathit{A}\mathit{x}\mathbf{=}\mathit{b}\end{array}\right\}$：${\bar{\mathit{x}}}^{\ast }\mathrm{最}\mathrm{优}⟺\exists \mathit{\mu },\mathrm{使}\mathrm{得}▽f({\bar{\mathit{x}}}^{\ast })+{\mathit{A}}^{\mathrm{T}}\mathit{\mu }=\mathbf{0},\mathit{A}{\bar{\mathit{x}}}^{\ast }=\mathit{b}$

  • 根据前面的条件，可知：$▽f({\bar{\mathit{x}}}^{\ast }{)}^{\mathrm{T}}(\mathit{x}-{\bar{\mathit{x}}}^{\ast })\ge 0$，满足$\mathit{A}\mathit{x}\mathbf{=}\mathit{b},\mathit{A}{\stackrel{\mathbf{―}}{\mathit{x}}}^{\mathbf{\ast }}\mathbf{=}\mathit{b}$，令向量$\mathit{d}=\mathit{x}-{\bar{\mathit{x}}}^{\ast }$，那么将满足等式约束的两个式子相减：$\mathit{A}\mathbf{(}\mathit{x}\mathbf{-}{\stackrel{\mathbf{―}}{\mathit{x}}}^{\mathbf{\ast }}\mathbf{)}\mathbf{=}\mathit{A}\mathit{d}\mathbf{=}\mathbf{0}$，即向量$\mathit{d}$在$\mathit{A}$的零空间中。又由于向量$\mathit{d}$在$\mathit{A}$的零空间中，那么$-\mathit{d}$同样在$\mathit{A}$的零空间中，因此向量$\mathit{d}$和$-\mathit{d}$都是$▽f({\bar{\mathit{x}}}^{\ast }{)}^{\mathrm{T}}(\mathit{x}-{\bar{\mathit{x}}}^{\ast })=▽f({\bar{\mathit{x}}}^{\ast }{)}^{\mathrm{T}}\mathit{d}\ge 0$的解，也就是该不等式添加负号不等号不变方向，也就等价于$▽f({\bar{\mathit{x}}}^{\ast }{)}^{\mathrm{T}}(\mathit{x}-{\bar{\mathit{x}}}^{\ast })=▽f({\bar{\mathit{x}}}^{\ast }{)}^{\mathrm{T}}\mathit{d}=0$。由于$\mathit{d}$$\mathrm{在}$$\mathit{A}$的零空间中，而$▽f({\bar{\mathit{x}}}^{\ast }{)}^{\mathrm{T}}\mathit{d}=0$，所以$▽f({\bar{\mathit{x}}}^{\ast }{)}^{\mathrm{T}}$在$\mathit{A}$的正交补空间中，也就是$\mathit{A}$的行空间，所以$▽f({\bar{\mathit{x}}}^{\ast })$可以表示成${\mathit{A}}^{\mathrm{T}}$的线性组合：

$$\exists \mathit{\mu },\mathrm{使}\mathrm{得}▽f({\bar{\mathit{x}}}^{\ast })+{\mathit{A}}^{\mathrm{T}}\mathit{\mu }=\mathbf{0},\mathit{A}{\bar{\mathit{x}}}^{\ast }=\mathit{b}$$

• 这个就是KKT条件在本问题中的具体表现形式。

• 非负约束凸优化$min\left\{\begin{array}{c}f(\mathit{x})\mid \mathit{x}\mathbf{\ge }\mathbf{0}\end{array}\right\}$：${\bar{\mathit{x}}}^{\ast }\mathrm{最}\mathrm{优}⟺▽f({\bar{\mathit{x}}}^{\ast }{)}_i{\bar{\mathit{x}}}_i^{\ast }=\mathbf{0},{\bar{\mathit{x}}}^{\ast }>\mathbf{0},▽f({\bar{\mathit{x}}}^{\ast })\ge \mathbf{0}$

  • 证明暂略，比较复杂，看视频吧

4.3 常见凸优化问题分类

4.3.1 线性规划 (Linear Programming, LP)

(一) 线性规划的标准形式

$$\{\begin{array}{ll}\text{ min }& {\mathit{c}}^{\mathrm{T}}\mathit{x}+d\\ \text{ s.t.}& \mathit{G}\mathit{x}\mathbf{=}\mathit{b},\\ & \mathit{H}\mathit{x}\mathbf{\le }\mathit{e}.\end{array}$$

一言以蔽之，目标函数和约束条件都是仿射函数。

注意，凸优化问题中很多形式可以通过转换变为标准形式的！！！如下面几种情况：

• 线性分式规划

• 最小化绝对值函数

$$min\left\{\begin{array}{c}|{\mathit{a}}^{\mathrm{T}}\mathit{x}+\mathit{c}|\mathit{A}\mathit{X}\mathbf{=}\mathit{b}\end{array}\right\}$$

• 最小化多面体函数

(二) 标准解法——单纯形法

单纯形法的基本思想是——基于线性规划的可行集是一个多面体，目标函数是线性的，绘制其等值面的时候是一组平行的线/面，找到多面体的支撑超平面。所以说，如果线性规划存在最优解，则可在极点(多面体的顶点)达到。

若$\bar{\mathit{x}}$是一个极点，则需判断$\bar{\mathit{x}}$是否是最优解：

• 若是最优解，则求解完成；
• 若不是最优解，则需从$\bar{\mathit{x}}$出发，找一个更优的极点。

详细参见：线性规划问题（LP问题）， 解决线性规划问题为什么要加入松弛变量？

4.3.2 凸二次规划 (Quadratic Programming, QP)

(一) 凸二次规划基本形式

$$\{\begin{array}{ll}\text{ min }& {\displaystyle \frac{1}{2}}{\mathit{x}}^{\mathrm{T}}\mathit{Q}\mathit{x}+{\mathit{c}}^{\mathrm{T}}\mathit{x}\\ \text{ s.t.}& \mathit{A}\mathit{x}\mathbf{=}\mathit{b},\\ & \mathit{x}\mathbf{\ge }\mathbf{0}.\end{array}$$

其中，$\mathit{Q}⪰\mathbf{0}$。

(二) 标准解法——有效集法

后面讲解。

(三) 示例

• 均值-方差模型
• 最小二乘模型

4.3.3 带凸二次约束的二次规划(Quadraticlly Constrained Quadratic Program, QCQP)

(一) 基本形式

$$\{\begin{array}{ll}\text{ min }& {\displaystyle \frac{1}{2}}{\mathit{x}}^{\mathrm{T}}{\mathit{Q}}_0\mathit{x}+{\mathit{c}}_0^{\mathrm{T}}\mathit{x}\\ \text{ s.t.}& {\displaystyle \frac{1}{2}}{\mathit{x}}^{\mathrm{T}}{\mathit{Q}}_i\mathit{x}+{\mathit{c}}_i^{\mathrm{T}}\mathit{x}+b_i\le 0,i=1,2,\cdots ,k\\ & \mathit{A}\mathit{x}\mathbf{\le }\mathit{d}.\end{array}$$

其中，${\mathit{Q}}_i⪰\mathbf{0},i=0,1,\cdots ,k.$。

4.3.4 二阶锥规划 (Second-Order Cone Program, SOCP)

(一) 基本形式

$$\{\begin{array}{ll}\text{ min }& {\mathit{f}}^{\mathrm{T}}\mathit{x}\\ \text{ s.t.}& \Vert {\mathit{A}}_{\mathit{i}}\mathit{x}\mathbf{+}{\mathit{b}}_{\mathit{i}}{\Vert }_2\le {\mathit{c}}_i^{\mathrm{T}}\mathit{x}+{\mathit{d}}_i,i=1,2,\cdots ,k\\ & \mathit{H}\mathit{x}\mathbf{\le }\mathit{e}.\end{array}$$

当$k=0$时，为LP问题；当所有${\mathit{c}}_{\mathit{i}}\mathbf{=}\mathbf{0}$时，为QCQP问题。

4.3.5 半定规划 (Semidefinite Program, SDP)

(一) 半定规划标准形式

$$\{\begin{array}{ll}\text{ min }& \text{tr}(\mathit{C}\mathit{X})\\ \text{ s.t.}& \text{tr}({\mathit{Q}}_i\mathit{X})=b_i,i=1,2,\cdots ,m\\ & \mathit{x}\mathbf{\ge }\mathbf{0}.\end{array}$$

其中，$\mathit{C},{\mathit{Q}}_i$均为对称矩阵。

转化为：线性矩阵不等式形式(LMI)：

$$\{\begin{array}{ll}\text{ min }& {\mathit{c}}^{\mathrm{T}}\mathit{x}\\ \text{ s.t.}& \sum _{i=1}^n{\mathit{x}}_{\mathit{i}}{\mathit{Q}}_{\mathit{i}}\le {\mathit{Q}}_0\\ & \mathit{A}\mathit{x}\mathbf{\ge }\mathit{b}.\end{array}$$

注意：若矩阵${\mathit{Q}}_{\mathbf{1}}\mathbf{\le }{\mathit{Q}}_{\mathbf{2}}$，则有${\mathit{Q}}_{\mathbf{2}}\mathbf{-}{\mathit{Q}}_{\mathbf{1}}$是半正定矩阵。

4.3.6 几何规划 (Geometric Programming, GP)

(一) 例子：切比雪夫中心(集合中心)

• 给定有界的集合$\mathit{C},\mathit{x}\in \mathit{C}$的深度定义为：

$$\text{depth}(\mathit{x},\mathit{C})=\text{dist}(\mathit{x},{\mathbb{R}}^n(\mathrm{去}\mathrm{除}\mathit{C}))$$

可以理解为集合$\mathit{C}$中的点到集合$\mathit{C}$边界的距离。

• 集合$\mathit{C}$的中心(chebyshev center)定义为具有最大深度的点：

$${\mathit{x}}_{\text{center}}(\mathit{C})=\arg \underset{\mathit{x}\in \mathit{C}}{max}\text{dist}(\mathit{x},{\mathbb{R}}^n(\mathrm{去}\mathrm{除}\mathit{C}))$$

• 集合的中心即包含于该集合的最大球体的球心。

(二) 凸集合的中心问题为凸优化问题

(1) 假设$\mathit{S}=\left\{\begin{array}{c}\mathit{x}\mid f_i(\mathit{x})\le 0,i=1,\cdots ,m\end{array}\right\}$，其中$f_i(\mathit{x})$是凸函数，寻找包含$\mathit{S}$的最大球体。

设该球体球心为$\mathit{x}$，半径为$r$，该球可以表示为：$\mathit{B}=\left\{\begin{array}{c}\mathit{x}+r\mathit{u}\mid \Vert \mathit{u}{\Vert }_2\le 1\end{array}\right\}$

$$\{\begin{array}{ll}\text{ max }& r\\ \text{ s.t.}& \underset{\Vert \mathit{u}{\Vert }_2\le 1}{sup}{f}_i(\mathit{x}+r\mathit{u})\le 0,i=1,\cdots ,m\end{array}$$

注意：max/sup、min/inf辨析，sup, inf 与 min, max

使用 inf 或 sup 总能保证一个函数的 inf 或 sup 存在，而函数的 min 或 max 有时候不存在。

(2) 多面体的中心：假设多面体$\mathit{P}=\left\{\begin{array}{c}\mathit{x}\in {\mathbb{R}}^n\mid {\mathit{a}}_i^{\mathrm{T}}\mathit{x}\le {\mathit{b}}_i,i=1,\cdots ,m\end{array}\right\}$，寻找包含$\mathit{P}$的最大球体，其球心即为集合$\mathit{P}$的中心。

通过题目，可将优化问题抽象如下：(球体可以表示为：$\mathit{B}=\left\{\begin{array}{c}\mathit{x}+r\mathit{u}\mid \Vert \mathit{u}{\Vert }_2\le 1\end{array}\right\}$)

$$\{\begin{array}{ll}\text{ max }& r\\ \text{ s.t.}& {\mathit{a}}_i^{\mathrm{T}}\mathit{x}+\Vert {\mathit{a}}_i{\Vert }_{2}r\le {\mathit{b}}_i,i=1,\cdots ,m\end{array}$$

(3) 椭球交集的中心：假设$\mathit{S}=\left\{\begin{array}{c}\mathit{x}\in {\mathbb{R}}^n\mid {\mathit{x}}^{\mathrm{T}}{\mathit{A}}_i\mathit{x}+2{\mathit{b}}_i^{\mathrm{T}}\mathit{x}+c_i\le 0,i=1,\cdots ,m\end{array}\right\}$，其中${\mathit{A}}_i\ge \mathbf{0}$，寻找包含$\mathit{S}$的最大球体和球心。

通过问题描述，可将该问题建模为：

$$\{\begin{array}{ll}max& r\\ \text{ s.t. }& \left(\begin{array}{ccc}{\mathit{A}}_i^{-1}& rl& -(\mathit{x}+{\mathit{A}}_i^{-1}{\mathit{b}}_i)\\ rl& {\lambda }_{i}l& 0\\ -{(\mathit{x}+{\mathit{A}}_i^{-1}{\mathit{b}}_i)}^T& 0& -{\lambda }_i-c_i+{\mathit{b}}_i^T{\mathit{A}}_i^{-1}{\mathit{b}}_i\end{array}\right)\ge 0,\end{array}$$

本问题涉及两个小知识点：

• S-Procedure：

  • ${\mathit{x}}^{\text{T}}{\mathit{F}}_1\mathit{x}+2{\mathit{b}}_1^{\text{T}}\mathit{x}+c_1\le 0\Rightarrow x^{\text{T}}{\mathit{F}}_2\mathit{x}+2{\mathit{b}}_2^{\text{T}}\mathit{x}+c_2\le 0$，当且仅当$\exists \lambda \ge 0$使得$\left(\begin{array}{cc}{\mathit{F}}_1& {\mathit{b}}_1\\ {\mathit{b}}_1^{\text{T}}& c_1\end{array}\right)-\left(\begin{array}{cc}{\mathit{F}}_2& {\mathit{b}}_2\\ {\mathit{b}}_2^{\text{T}}& c_2\end{array}\right)\ge 0$

• Schur complement 对称分块矩阵：

  • 如$\mathit{X}=\left(\begin{array}{cc}\mathit{A}& \mathit{B}\\ {\mathit{B}}^{\text{T}}& \mathit{C}\end{array}\right)$，若$\mathit{A}\ge \mathbf{0}$，则$\mathit{X}\ge \mathbf{0}$当且仅当$\mathit{C}-{\mathit{B}}^{\text{T}}{\mathit{A}}^{-1}\mathit{B}\ge 0$

---

参考资料：

【1】为啥要知道一个对称方阵是否为各种定呢

【2】浅谈「正定矩阵」和「半正定矩阵」

【3】正定(positive definite)与半正定(semi-positive definite)

笔记参考资料：

【1】数值优化| 无约束最优性条件

【2】数值优化| 线搜索方法

【3】数值优化| 最速下降法与牛顿型方法