凸优化

凸优化

 

数值优化算法面临两个方面的问题：局部极值，鞍点。前者是梯度为0的点，也是极值点，但不是全局极小值；后者连局部极值都不是，在鞍点处Hessian矩阵不定，即既非正定，也非负定。

 

凸优化通过对目标函数，优化变量的可行域进行限定，可以保证不会遇到上面两个问题。

 

凸优化是一类特殊的优化问题，它要求：

ü  优化变量的可行域是一个凸集

ü  目标函数是一个凸函数

 

凸优化最好的一个性质是：所有局部最优解一定是全局最优解。对于凸优化更详细的讲解可以阅读SIGAI之前的公众号文章“理解凸优化”。

 

机器学习中典型的凸优化问题有：

线性回归

岭回归

LASSO回归

Logistic回归

支持向量机

Softamx回归