凸优化

CanChen ggchen@mail.ustc.edu.cn

---

凸优化就是凸集合上的凸函数优化问题，因为这些特殊性质，让凸优化很好解。

 

hull和cone

hull这里我感觉在强调闭性，cone的话在说明射线性。

 

minimum和minimal

cone本质是一个集合，这里加了一些性质比如有向性来定义一个依赖于cone集合的不等号。
给定一个集合S，再给定另外一个cone集合，就存在一个关系。此关系下，如果x是S的minimum，首先要求x能和其他所有元素在关系下可以比较，第二要去x处于下风。如果x是S的minimal，这里的话，放松了第一个条件，只要求在可比的元素中，x处于下风--即不存在在这个关系中，比x更菜的元素。
在我看来，这个K就是起到了限制S这个域。

 

凸函数定义

这个定义是比较严格的定义了，后面关于一阶导和二阶导都是辅助定氮仪。

常见的凸函数，感觉从定义出发，很容易理解了。

感觉两条很有用的性质：

最重要一条性质：任意局部最优点也是全局最优点。由此推导出最优值的条件（目标函数可微分的情况）:

 

Lagrangian duality

本质就是说把限制条件转化到目标函数中。

 

dual function的定义

注意这里g是凹的，这个dinginess相当于给定了lamda和value，然后穷举x，最小值即为g。
感觉深度学习非常常见的一个转换，原来来源于此。

dual function是v的下界，因此我们想求dual function的最大值。
根据dual function，定义dual problem：

这个dual problem真的很厉害，把一个约束最优化问题转化为凸优化问题。

 

具体优化算法

首先讲了讲，无约束问题和等式约束问题，牛顿方法的区别：1. 后者需要一开始点在可行域内； 2. 牛顿步不同。
对于初始点在可行域内，有：

如果不在可行域内，有：

对于不等式约束，还是用内点法来解。
一种是障碍函数法：