凸优化期末冲刺

合集 - 大学课程相关(21)

1.【科研】多智能体 相关论文阅读笔记2023-09-162.【课业】李徳毅《人工智能导论》阅读2023-07-073.【课业】数电系统整理复习【已完结】2023-06-234.【竞赛】CMC备赛2023-09-045.【课业】科里奥利力——转动参考系产生的惯性力2022-10-036.【课业】南大微积分期末试题/日常习题有感2022-12-107.【课业】做这几年的南大微积分（Ⅰ）期中考试题......2022-10-198.【课业】线代期中考试前的准备2022-10-309.【课业】气体动理论——平均自由程2022-10-2210.【课业】信息科学中的物理学 八张纸总结2023-07-3011.【课业】认知科学导论系统整理复习【已完结】2023-06-2012.【课业】微观经济学系统整理复习【已完结】2023-06-2013.【课业】南大线代期末冲刺有感2022-12-1014.【课业】跨学科视野下的博弈——复习2023-12-0515.数据结构与算法 期末冲刺2024-01-06

16.凸优化期末冲刺2024-01-02

17.概率论期末复习2023-12-2618.凸优化导论——重要知识点2023-09-1619.《深度学习平台与应用》学习笔记2024-09-1820.《数学建模》学习笔记2024-09-2621.操作系统复习2024-06-15

收起

基础知识

1. 线性空间、子空间
2. 线性无关、线性相关、基、维数
3. 线性映射
4. 矩阵（二次型、正定、半正定、特征值）
5. 矩阵作为数阵：半正定集，矩阵函数；作为向量集合：维数；作为线性映射：矩阵的值空间、零空间（线性映射）
6. 简单矩阵求导（PPT中出现）
7. 基本的数学分析概念：闭集合、开集合；收敛、发散（柯西准则、夹逼定理）；（相对）内点、边界点；连续、不连续；可导可微

第一章 引言

1. 优化的基本概念（略）、优化问题建模
2. 范数（定义、性质和应用）、常见范数、对偶范数

范数：齐次，非负，正定，三角不等式
$l_p$范数
$X(\in S_{++}^n)$范数
对偶范数$\Vert z{\Vert }_{\ast }=sup\{z^{T}x\mid \Vert x\Vert ⩽1\}$
$l_p$范数的对偶是 ${\ell }_q$范数，$1/p+1/q=1$
算子范数$\Vert X{\Vert }_{\mathrm{a},\mathrm{b}}=sup\{\Vert Xu{\Vert }_{\mathrm{a}}\mid \Vert u{\Vert }_{\mathrm{b}}⩽1\}$
当$a=b=2$，算子范数成为谱范数。$\Vert X{\Vert }_2={\sigma }_{max}(X)=({\lambda }_{max}(X^{T}X){)}^{1/2}$
核范数$\Vert Z{\Vert }_{2\ast }={\sigma }_1(Z)+\cdots +{\sigma }_r(Z)=\mathrm{tr}(Z^{T}Z{)}^{1/2}$

第二章 凸集

1. 仿射集（与线性子空间的关系）、仿射包、仿射维度、凸集合、凸包、锥、凸锥、锥包、超平面、半空间、球、椭圆、范数球、范数锥、多面体、半正定锥、正定锥
2. 保凸运算（交集、仿射函数、线性分式及透视函数）
3. 正常锥与广义不等式（最小元与极小元）
4. 分割超平面定理、支撑超平面定理
5. 对偶锥

正常锥：凸的闭的实的尖的
超平面分离定理：逆命题不成立、不一定严格分离。点和闭凸集可以严格分离。
对偶锥：
$K^{\ast }$ 是闭凸锥。$K_1\subseteq K_2$ 可导出 $K_2^{\ast }\subseteq K_1^{\ast }$。
如果 K 有非空内部，那么 $K^{\ast }$ 是尖的。
如果 $K$ 的闭包是尖的，那么 $K^{\ast }$ 有非空内部。
$K^{\ast \ast }$ 是$K$ 的凸包的闭包。(因此，如果 $K$ 是凸和闭的，则 $K^{\ast \ast }=K$。)

第三章 凸函数

1. 凸函数的定义、扩展值函数、凸函数的一阶条件、凸函数的二阶条件（♠）、下水平集、上镜图、Jensen不等式
2. 保凸运算（♠）（非负加权求和、带有仿射映射的组合、逐点最大值、逐点上确界、标量函数组合、向量函数组合、最小化、透视函数）
3. 共轭函数
4. 拟凸函数
5. 对数凹（凸）函数

估计要考一个根据凸函数的二阶条件判断凸性，再考一个根据保凸运算判断凸性。

要会利用函数复合判断凸凹性。
最小化保凸的条件是在凸集上最小化。
共轭函数一定是凸的。
拟凸性的定义（求和->最大）、一阶二阶充要条件、保凸性（非负加权求和->非负加权最大、复合、最小化）
对数凸函数的定义、性质

矩阵凸性
设函数 $f$ 是对称矩阵值函数，即 $f:{\mathbb{R}}^n\to {\mathbb{S}}^m$。称函数 $f$ 关于矩阵不等式是凸的，如果对任意 $x$ 和 $y$ 以及 $\theta \in [0,1]$,有

$$f(\theta x+(1-\theta )y)⪯\theta f(x)+(1-\theta )f(y).$$

这种凸性有时称为矩阵凸性。一个等价的定义是对任意向量 $z$,标量函数 $z^{T}f(x)z$ 都是凸函数。(这是一个证明矩阵凸性的好方法)。称矩阵函数为严格矩阵凸的，如果对 $x\ne y$ 和$0<\theta <1$,有

$f(\theta x+(1-\theta )y)\prec \theta f(x)+(1-\theta )f(y)$,
或者等价地，如果对任意 $z\ne 0$ 函数 $z^{T}fz$ 严格凸。一些例子。

·函数 $f(X)=X{X}^T$,其中 $X\in {\mathbb{R}}^{n\times m}$,是矩阵凸的，这是因为任选 $z$,函数$z^{T}X{X}^{T}z=\Vert X^{T}z{\Vert }_2^2$ 是 $X$ (分量) 的凸的二次函数。同理，函数 $f(X)=X^2$ 在${\mathbb{S}}^n$ 上也是矩阵凸的。

·当$1⩽p⩽2$ 或 $-1⩽p⩽0$ 时，函数 $X^p$ 在 ${\mathbf{S}}_{++}^n$ 上是矩阵凸的，当 $0⩽p⩽1$ 时，
函数是矩阵凹的。

第四章 凸优化

1. 目标函数、优化变量、不等式约束、等式约束、可行解、最优值、最优点、局部最优点、全局最优点、优化问题的标准形式
2. 凸优化问题的标准形式（♠）、局部最优、全局最优、可微函数最优条件（简单约束问题）（♠）
3. 等价的优化问题、变量变换、函数变换、松弛变量、消除等式约束、引入等式约束
4. 凸优化的常见类型，如线性规划、最小二乘等

估计又有标准形式判断的题目。或者是转换成标准形式的题目。因此等价的优化问题那些技巧也很重要。最优条件不用说，太重要了。

经典优化问题内容十分丰富。。

隐式约束没那么复杂。就是把约束直接改到目标函数的定义域里。在后边拉格朗日对偶问题会用处。

第五章 对偶

1. Lagrangian、Lagrange乘子、Lagrange对偶函数、最优值的下界、Lagrange对偶问题、对偶约束条件
2. 弱对偶性、强对偶性、Slater约束准则、互补松弛条件、KKT条件
3. 对偶转化（♠）：引入新变量和等式约束、目标函数变换、隐藏约束

互补松驰条件联合其他必要条件一起，形成了一个不错的强对偶性的必要条件，而且这个条件在凸问题下就成了充要的了。

期中考试题

现在看来题出的还是挺好的。

1.2.3.4.5只需要会用凸函数的定义/判定即可。

$\underset{x\in conv(X)}{inf}{c}^{\prime }x\le \underset{x\in X}{inf}{c}^{\prime }x$是显然的，只需要证明$\underset{x\in conv(X)}{inf}{c}^{\prime }x\ge \underset{x\in X}{inf}{c}^{\prime }x$
任意 $\overline{x}\in conv(X)$ 均可写为 $\overline{x}=\sum _{i=1}^m{\alpha }_i{x}_i,$ 其中$x_1,\dots ,x_m\in X$ 且参数${\alpha }_1,\dots ,{\alpha }_m\ge 0$ 满足 $\sum _{i=1}^m{\alpha }_i=1$。因此，

$c^{\prime }\overline{x}=\sum _{i=1}^m{\alpha }_i{c}^{\prime }{x}_i\ge (\sum _{i=1}^m{\alpha }_i)\underset{x\in X}{inf}{c}^{\prime }x=\underset{x\in X}{inf}{c}^{\prime }x,\mathrm{\forall }\overline{x}\in conv(X).$

关于$\overline{x}\in conv(X)$ 取左侧的下确界为

$$\underset{\overline{x}\in conv(X)}{inf}{c}^{\prime }\overline{x}\ge \underset{x\in X}{inf}{c}^{\prime }x.$$

结合上两式可得

$$\underset{x\in conv(X)}{inf}{c}^{\prime }x=\underset{x\in X}{inf}{c}^{\prime }x.$$

显然集合$X$上每个可以到达$c^{\prime }x$ 的下确界的点都可以在集合 $conv(X)$ 中找到，因此右边可以达到时左边也能达到。相反，假设函数 $c^{\prime }x$ 在集合 $conv(X)$ 的下确界可以在 $\overline{x}=conv(X)$ 上找到。对于由变量 $x_1,\dots ,x_m$ 和满足 $\sum _{i=1}^m{\alpha }_i=1$ 的标量${\alpha }_1,\dots ,{\alpha }_m\ge 0$ 构成的变量 $\overline{x}=\sum _{i=1}^m{\alpha }_i{x}_i$, 有

$$\begin{array}{rl}\underset{x\in X}{inf}{c}^{\prime }x& =(\sum _{i=1}^m{\alpha }_i)\underset{x\in X}{inf}{c}^{\prime }x\le \sum _{i=1}^m{\alpha }_i{c}^{\prime }{x}_i=c^{\prime }\overline{x}=\underset{x\in conv(X)}{inf}{c}^{\prime }x=\underset{x\in X}{inf}{c}^{\prime }x.\end{array}$$

由于满足取等条件，对于所有的 $i$ 和 ${\alpha }_i>0$, $c^{\prime }{x}_i={\inf }_{x\in conv(X)}{c}^{\prime }x$ 。因此，集合$X$ 的 $c^{\prime }x$ 的下确界可以到达。

7. 共轭函数的定义，问题降维。
8. $\begin{array}{rl}& \text{ 令 }C\text{ 为一个在 }{R}^n\text{ 上的非空闭合凸锥,令 }x\in R^n\text{。试证明当且仅当 }\hat{x}\in C,(x-\\ & \hat{x}{)}^{\prime }\hat{x}=0,\hat{x}-x\in C^{\star }\text{ 时, }\hat{x}\text{ 是 }x\text{ 在 }C\text{ 上的投影。}\end{array}$

证明 令$\hat{x}$是$x$ 在$C$ 上的投影 (由于$C$ 是凸的且闭合的，所以必然且唯一存在$\hat{x}$ 满足条件)。通过投影定理可得

$$(x-\hat{x}{)}^{\prime }(y-\hat{x})\le 0,\mathrm{\forall }y\in C.$$

由于$C$ 是一个锥体，可以推断出 $(\frac{1}{2})\hat{x}\in C$ 和 2$\hat{x}\in C$, 并且通过取 $y=(\frac{1}{2})\hat{x}$ 和$y=2\hat{x}$, 可以推断出

$$(x-\hat{x}{)}^{\prime }\hat{x}=0.$$

通过结合上述两式可得

$$(x-\hat{x}{)}^{\prime }y\le 0,\mathrm{\forall }y\in C,$$

这说明 $x-\hat{x}\in C^{\star }$。相反的，若 $\hat{x}\in C,(x-\hat{x}{)}^{\prime }\hat{x}=0,$ 且$\hat{x}-x\in C^{\star },$则可以推断出

$$(x-\hat{x}{)}^{\prime }(y-\hat{x})\le 0,\mathrm{\forall }y\in C,$$

并且根据投影定理可得，$\hat{x}$ 是 $x$ 在 $C$ 上的投影。

习题

第二章

2.2 证明一个集合是凸集当且仅当它与任意直线的交是凸的。证明一个集合是仿射的当且仅当它与任意直线的交是仿射的。

这个题和期中考试那个题不一样。那个是函数，这个是集合，这个更简单。集合交运算的保凸性。弄清楚仿射集合和凸集合的定义即可。

2.3 中点凸性。集合C是中点凸的，当C中任意两点a,b的平均或中点(a+b)/2也属于C。显然凸集是中点凸的。可以证明在一些很微弱的条件下，中点凸可以导出凸性。作为一个简单的例子，证明如果C是闭和中点凸的，那么C是凸集。

${\theta }^{(k)}=c_1{2}^{-1}+c_2{2}^{-2}+\cdots +c_k{2}^{-k}$
$\begin{array}{r}\underset{k\to \mathrm{\infty }}{lim}({\theta }^{(k)}x+(1-{\theta }^{(k)})y)=\theta x+(1-\theta )y\in C\end{array}$
二分法逼近的思路即可，但这样写明显更加赏心悦目。

2.10 二次不等式的解集。令 $C\subseteq {\mathbb{R}}^n$ 为下列二次不等式的解集 $C=\{x\in {\mathbf{R}}^n\mid x^{T}Ax+b^{T}x+c⩽0\},$
其中$A\in {\mathbf{S}}^n,b\in {\mathbf{R}}^n,c\in \mathbf{R}$。(a) 证明：如果 $A⪰0$,那么 $C$ 是凸集。
(b) 证明：如果对某些 $\lambda \in \mathbf{R}$ 有 $A+\lambda g{g}^T⪰0$,那么 $C$ 和由 $g^{T}x+h=0$(这里 $g\ne 0$)
定义的超平面的交集是凸集。
以上命题的逆命题是否成立？

给人印象最深最深的一道题。如下图，第一问就凸集定义+变形。逆命题直接举反例。当然答案的方法也可以，利用直线上凸性等价判断，转化成二次函数的问题。

第二问也没有看起来那么难，还是凸集的定义。

2.12 判断一类集合的凸性。

记住结论还有那个反例即可。

2.17 透视函数下的多面体集合。在这个问题中，我们研究超平面、半空间及多面体在透视函数P(x,t)=x/t下的像，其中domP=Rn×R++。对于下面每个集合C,给出形如P(C)={v/t(v,t)EC,t>0}的简单表示。

注意区分这里的透视函数和后面学的透视函数。这里学的是表示线性分式函数用的。而且它和线性分式函数都保凸。

第三章

第四章

第五章

常见优化问题总结

0. 无约束二次规划
   

1. 线性方程组的最小二乘解
   $\begin{array}{ll}\text{minimize}& x^{T}x\\ \text{subject to}& Ax=b\end{array}$

2. 标准形式线性规划
   $\begin{array}{cc}\text{minimize}& c^{T}x\\ \text{subject to}& Ax=b\\ & x⪰0\end{array}$

3. 双向划分问题（非凸）
   $\begin{array}{ll}\text{minimize}& x^{T}Wx\\ \text{subject to}& x_i^2=1,i=1,\cdots ,n\end{array}$

4. 等式约束条件下的范数极小化（凸）
   $\begin{array}{ll}\mathrm{minimize}& \Vert x\Vert \\ \mathrm{subject}\mathrm{to}& Ax=b\end{array}$
   方法：利用共轭函数表示拉格朗日对偶函数

5. 熵的最大化
   $\begin{array}{ll}\mathrm{minimize}& f_0(x)=\sum _{i=1}^n{x}_i\log x_i\\ \mathrm{subject}\mathrm{to}& Ax⪯b\\ & 1^{T}x=1\end{array}$

6. 等式约束二次凸问题求极小
   $\begin{array}{ll}\text{minimize}& (1/2)x^{T}Px+q^{T}x+r\\ \text{subject to}& Ax=b,\end{array}$

7. 无约束几何规划
   $\mathrm{minimize}\log (\sum _{i=1}^m\exp (a_i^{T}x+b_i))$

其他

范数的定义：非负的，正定的，齐次的，满足三角不等式的