凸优化导论——重要知识点

合集 - 大学课程相关(21)

1.【科研】多智能体 相关论文阅读笔记2023-09-162.【课业】李徳毅《人工智能导论》阅读2023-07-073.【课业】数电系统整理复习【已完结】2023-06-234.【竞赛】CMC备赛2023-09-045.【课业】科里奥利力——转动参考系产生的惯性力2022-10-036.【课业】南大微积分期末试题/日常习题有感2022-12-107.【课业】做这几年的南大微积分（Ⅰ）期中考试题......2022-10-198.【课业】线代期中考试前的准备2022-10-309.【课业】气体动理论——平均自由程2022-10-2210.【课业】信息科学中的物理学 八张纸总结2023-07-3011.【课业】认知科学导论系统整理复习【已完结】2023-06-2012.【课业】微观经济学系统整理复习【已完结】2023-06-2013.【课业】南大线代期末冲刺有感2022-12-1014.【课业】跨学科视野下的博弈——复习2023-12-0515.数据结构与算法 期末冲刺2024-01-0616.凸优化期末冲刺2024-01-0217.概率论期末复习2023-12-26

18.凸优化导论——重要知识点2023-09-16

19.《深度学习平台与应用》学习笔记2024-09-1820.《数学建模》学习笔记2024-09-2621.操作系统复习2024-06-15

收起

第二章 凸集

仿射集合和凸集

一个非常完美的区分内部、相对内部、边界、相对边界的例子。

重要的例子

超平面与半空间、欧几里得（椭）球、范数球/锥、半正定锥、多面体

保凸运算

凸集、子空间、仿射集、凸锥对于任意交运算都是封闭的。
仿射函数是保凸的，它不拘泥于维数的变化，可以用来轻松地证明多面体、LMI、双曲锥、椭球的凸性。
透视函数、线性分式。都是保凸的。

广义不等式

正常锥：凸的、闭的【收敛到的点一定在内部】、实的、尖的
在正常锥的基础上可定义偏序关系，即广义不等式
比如$R_{+}^n$、$S_{+}^n$、多项式锥
广义不等式意义下的极小元和最小元
判断方法：x最小元当且仅当$S\in x+K$ 极小元当且仅当$(x-K)\cap S=\{x\}$

分离与支撑超平面

超平面分离定理
不相交的凸集不一定能够被严格分离。点和闭的凸集倒是可以（考虑点的邻域和凸集应用超平面分离定理）。
该定理可以用来证明很多定理，比如严格线性不等式的择一定理。

支撑超平面一定是对任意$x\in C$有$a^{T}x\le a^T{x}_0$（背对着凸集）
支撑超平面定理：非空凸集上的边界点
一个不完全的逆定理：对于闭的非空的集合。判断凸集。

对偶锥

例子：子空间的对偶锥是正交补
$R_{+}^n$的对偶锥是它本身
半正定锥的对偶锥也是它本身（这个证明还是挺有意思的）
范数锥的对偶（引入对偶范数的定义，记住$\frac{1}{p}+\frac{1}{q}=1$）

由对偶锥引出广义不等式的对偶

前面用正常锥判断广义不等式意义下的极小元和最小元，现在有了对偶锥和对偶广义不等式又多了一种新的判断方法。

习题

中点凸性：在集合是闭的时候，和凸性等价。道理很简单，一直二分逼近收敛。如何写得简洁严谨？
答案给的很漂亮： ${\theta }^{(k)}=c_1{2}^{-1}+c_2{2}^{-2}+\cdots +c_k{2}^{-k}$

$$\begin{array}{rl}\underset{k\to \mathrm{\infty }}{lim}({\theta }^{(k)}x+(1-{\theta }^{(k)})y)& =\theta x+(1-\theta )y\in C.\end{array}$$

判断是不是多面体——注意是有限个半空间和超平面的交集

判断二次不等式的解集是不是凸集。这个题非常非常重要。其中用定义证明凸集的手法应当熟悉。

第三章 凸函数

定义、性质、例子

定义凸函数的延申后，所有的凸函数定义域都是全集了。如果求限定子集中的最小值，可以用原函数加上子集对应的示性函数，定义域又变成全集。这个说重要也不重要，方便后续讨论罢了。

一阶条件、二阶条件。注意题目中给出的f如果dom不是凸的，那么无论如何f不会是凸函数。

例子：指对幂负熵（定义在R上的），范数，最大值，二次线性分式，指数和对数（定义在$R^n$上的）。指数和对数是Max函数的可微近似。
凹函数例子：几何平均、对数行列式（定义在$S_{++}^n$上的），这些证明还是很有意思的。

定义下水平集。
定义上境图，它的凸性和函数的凸性的等价性。可以用于证明矩阵分式函数的凸性。

Jensen不等式
Holder不等式

保凸运算

非负加权求和/积分、复合仿射映射、逐点上确界（典型例子：最大r个分量之和、集合的支撑函数）、对称矩阵的最大特征值、矩阵范数（这个证明还是很妙的，所有算子范数，求最大奇异值，求对称矩阵的最大特征值都是凸函数）、复合（标量复合、矢量复合）、最小化（C是凸集才有保凸性）（用于证明二次函数、到凸集距离函数的凸性）、透视函数（和前面讲的那个透视函数不是一回事）（典型例子：范数的透视函数、相对熵以及KL散度）

共轭函数

共轭函数一定是凸的。

拟凸函数

经典例子：向量的长度、$f(x_1{x}_2)=x_1{x}_2$、线性分式、距离比、内生回报率

充要条件

对可微拟凸函数：一阶条件和二阶条件

保拟凸运算：非负加权最大、复合、最小化

通过一族凸函数的不等式表示拟凸函数的下水平集

例子：

对数凸/凹函数

拟凸性质

二阶条件

保对数凸运算

例子：

广义不等式意义下的凸函数

第四章 凸优化问题

优化、凸优化

问题的表示：变量变换、约束函数和目标函数的变换、约束变量（不等式约束变为等式约束+非负约束）、消除或引入等式约束、约束部分变量（比如优化二次函数）

凸优化问题：标准形式要求目标函数、不等式约束是凸的，等式约束是仿射的。

最优性分析：可微函数的最优性准则，理解：梯度的反方向定义可行集的支撑超平面。

拟凸优化：和凸优化问题的唯一区别是 目标函数是拟凸的 也有类似但不同的最优性准则

线性规划【LP】

目标函数和约束函数都是仿射的
可以转换成标准形式。如果没有等式约束可以转换为不等式形式。
例子：食谱问题

二次优化问题【QP】

其他补充知识

范数

算子范数。a=b=2时叫谱范数，也是X的最大奇异值。

线性代数

$\mathrm{向}\mathrm{量}\mathrm{张}\mathrm{成}\mathrm{的}\mathrm{空}\mathrm{间}：V_1=L(x_1,x_2,...,x_n)=\{k_1{x}_1+k_2{x}_2+...+k_n{x}_n\}$

$\text{矩阵 }A\in C^{m\times n}\text{的 }n\text{ 个列向量为 }{a}_1,a_2,...,a_n\text{,则矩阵A的值域为}：R(A)=L(a_1,a_2,...,a_n)=\{y\mid y=Ax\}$
矩阵的值域是 矩阵中的所有列向量所张成的空间。
若把A看作一种线性变换，那么矩阵的值域为线性空间中的原向量x经线性变换后所得到的象。

回忆：1）当方程组的系数矩阵的秩与方程组增广矩阵的秩相等且均等于方程组中未知数个数n的时候，方程组有唯一解；2）当方程组的系数矩阵的秩与方程组增广矩阵的秩相等且均小于方程组中未知数个数n的时候，方程组有无穷多解；3）当方程组的系数矩阵的秩小于方程组增广矩阵的秩的时候，方程组无解。

Ax=0的解构成的矢量空间叫做矩阵A的零空间记为N(A)。

什么是正交补？将原有的子空间的基，扩充为整个空间的基，而且扩充进来的基向量和原有的基向量均正交。新扩充进来的基就可以张成一个新的子空间，这个新的子空间就是原子空间的正交补。比如三维空间上，有(1，0，0)(x轴）和(0，1，0)(y轴）张成的子空间(就是整个xOy平面），这个子空间的正交补就是由(0，0，1)张成的子空间(z轴)。

---

奇异值分解
$A^{T}A$的非零特征值是A的奇异值的平方

---

---

闭包：集合C的闭包是包含集合C的最小闭集，即包含C的所有闭集的交

---

矩阵的迹的性质

---

对 $f:R^n\to R^m$ 定义导数，也即Jacobi矩阵，$Df(x{)}_{i,j}=\frac{\partial f_i(x)}{\partial x_j}$

如果$f$的$m=1$，即$f:R^n\to R$
定义$\mathrm{梯}\mathrm{度}：\mathrm{\Delta }f(x)=Df(x{)}^T$

如果$f$的$m=1$，即$f:R^n\to R$
定义Hessian矩阵$D\mathrm{\Delta }f(x)={\mathrm{\Delta }}^{2}f(x)$

---

---

押题

0. 作业原题（尤其是2.2/3/5/9/10/11/33/39 3.3/4/7/17/3）
1. 证明范数锥是凸锥、对偶锥由对偶范数表示
2. 证明半正定锥是凸锥，自对偶
3. 证明多面体、LMI、双曲锥、椭球的凸性
4. 证明指数和对数、几何平均、对数行列式、矩阵分式函数、最大r分量和、最大特征值、矩阵范数、各种矢量复合出的函数、二元二次函数、KL散度、共轭函数、矩阵逆的迹、行列式的n分之一次幂、的凹凸性
5. 证明向量长度函数、x1x2函数、线性分式函数、距离比函数、非零向量的基数的拟凸凹性
6. 证明伽马函数、行列式、行列式与迹之比的对数凸凹性
7. 优化问题变换
8. 利用最优化准则等方法求解线性规划、二次规划
9. 求解拟凸优化问题