乘子法

 https://blog.csdn.net/ice110956/article/details/17557795

一、无约束 求偏导等于0

二、等式约束拉格朗日函数求偏导等于0

（1）

这个图是二维情况下的经典图。表明求得最优解的条件就是拉格朗日的倒数为0

（2）

以上两种情况说明了等式约束下的最优条件 （必要条件）

二阶条件hessian正定是充分条件（一维函数比如x2）

 

三、不等式约束满足kkt条件

四、增广拉格朗日 ：增加penalty 使得更加mild condition

五、利用罚函数思想：根据约束条件构造惩罚函数加入目标函数中变为无约束问题。简言之约束问题通过惩罚变成无约束问题

Rho 是惩罚因子 Rho范数方是惩罚项，目标函数就是罚函数

可行解 惩罚项为0

不可行解 惩罚项很大。

罚函数：

外罚函数

内罚函数 就是障碍函数（内点法的障碍函数）

https://blog.csdn.net/newthinker_wei/article/details/52857397

当初学0空间补空间现在又忘了。看这篇文章看看能记起多少来

等式约束要求deltaf(x)在所有等式条件的补空间内。这样与（二）叙述的就对应起来了。博主把空间的知识和拉格朗日结合了起来会加深理解。