摘要：
一. 最优化问题求解 1. 等式约束的极值求法 目标函数: , 引入Lagrange算子: 2. 不等式约束的极值求法 目标函数: 约束条件: 很多情况, 不等式约束条件可引入新变量转化为等式约束条件, 故上述问题可简化为: 3. 最优化问题分类 根据约束条件和目标函数的类型分为3类: 线性规划: 阅读全文
摘要：
0 前言 上”最优化“课，老师讲到了无约束优化的拉格朗日乘子法和KKT条件。 这个在SVM的推导中有用到，所以查资料加深一下理解。 1 无约束优化 对于无约束优化问题中，如果一个函数f是凸函数，那么可以直接通过f(x)的梯度等于0来求得全局极小值点。 为了避免陷入局部最优，人们尽可能使用凸函数作为优 阅读全文