KKT条件（不等式约束优化）

当约束加上不等式之后，情况变得更加复杂，首先来看一个简单的情况，给定如下不等式约束问题：

 对应的 Lagrangian 与图形分别如下所示：

 这时的可行解必须落在约束区域 g(x)之内，下图给出了目标函数的等高线与约束：

由图可见可行解 x 只能在 g(x)<0 或者 g(x)=0  的区域里取得：

• 当可行解 x 落在 g(x)<0的区域内，此时直接极小化 f(x) 即可；
• 当可行解 x 落在 g(x)=0 即边界上，此时等价于等式约束优化问题.

当约束区域包含目标函数原有的的可行解时，此时加上约束可行解扔落在约束区域内部，对应 g(x)<0 的情况，这时约束条件不起作用；当约束区域不包含目标函数原有的可行解时，此时加上约束后可行解落在边界 g(x)=0 上。下图分别描述了两种情况，右图表示加上约束可行解会落在约束区域的边界上。

以上两种情况就是说，要么可行解落在约束区域内部（此时约束不起作用，另 λ=0 消去约束即可），要么可行解落在约束边界上即得 g(x)=0 ，所以无论哪种情况都会得到：

λg(x)=0

还有一个问题是 λ 的取值，在等式约束优化中，约束函数与目标函数的梯度只要满足平行即可，而在不等式约束中则不然，若 λ≠0，这便说明可行解 x 是落在约束区域的边界上的，这时可行解应尽量靠近无约束时的解，所以在约束边界上，目标函数的负梯度方向应该远离约束区域朝向无约束时的解，此时正好可得约束函数的梯度方向与目标函数的负梯度方向应相同，下图可看出：

−∇xf(x)=λ∇xg(x)

上式需要满足的要求是拉格朗日乘子 λ>0 

可见对于不等式约束，只要满足一定的条件，依然可以使用拉格朗日乘子法解决，这里的条件便是 KKT 条件。接下来给出形式化的 KKT 条件 首先给出形式化的不等式约束优化问题：

minx f(x)
s.t. hi(x)=0, i=1,2,...,m
gj(x)≤0, j=1,2,...,n

列出 Lagrangian 得到无约束优化问题：

经过之前的分析，便得知加上不等式约束后可行解 x 需要满足的就是以下的 KKT 条件：

满足 KKT 条件后极小化 Lagrangian 即可得到在不等式约束条件下的可行解。 KKT 条件看起来很多，其实很好理解:

(1) ：拉格朗日取得可行解的必要条件；

(2) ：这就是以上分析的一个比较有意思的约束，称作松弛互补条件；

(3) ∼ (4) ：初始的约束条件；

(5) ：不等式约束的 Lagrange Multiplier 需满足的条件。

主要的KKT条件便是 (3) 和 (5) ，只要满足这俩个条件便可直接用拉格朗日乘子法，

为方便表示，举个简单的例子：

现有如下不等式约束优化问题：

 此时引入松弛变量可以将不等式约束变成等式约束。设a1和b1为两个松弛变量，则上述的不等式约束可写为：

 则该问题的拉格朗日函数为：

 根据拉格朗日乘子法，求解方程组：

 

 则 

同样 u2b1=0，来分析g2(x)起作用和不起作用约束。

于是推出条件：