机器学习之凸优化基础二

20.共轭函数

 

21.凸优化

优化问题的基本形式

告诉几个等式约束求最值

 

 

局部最优问题

22.非凸优化问题的变形

23.对偶问题

24.Lagrange对偶函数(dual function)

Lagrange 对偶函数

若没有下确界，定义:

根据定义，显然有：对∀λ>0，∀v，若原优化问题有最优值p*，则

进一步：Lagrange对偶函数为凹函数。（任何一个凸函数加上一个负号就是一个凹函数）

求原函数的最小值，可以转化为求对偶函数的最大值（左侧取值后对应到右侧的图像就是其对偶函数）

25.