拉格朗日乘数和KKT条件

http://zhukunguang.blog.163.com/blog/static/214307201201211484523831/

 

 

KKT条件是非线性规划的重要成果之一，把拉格朗日乘子理论关于等式约束极值问题扩展到了等式约束和不等式约束的情形。

考虑以下约束条件下的非线性优化问题：
\begin{align}
\min & f(x),\: x\in E^{n}\label{eq:prob1}\\
s.t. & g_{i}(x)\le0,\: i=1,2,\cdots,m\nonumber \\
& h_{j}(x)=0,\: j=1,2,\cdots,p\nonumber
\end{align}

记$\bar{x}$为上述问题的一个可行解。$\{g_{i}(\bar{x})\}$可以分为两类，如果$g_{i}(\bar{x})<0$，则说明此时$g_{i}$并不起约束作用；相反，如果$g_{i}(x)=0$，则说明此时$g_{i}$起约束作用。记$I=\{i|g_{i}(\bar{x})=0\}$为在$\bar{x}$处不起作用的下标的集合。

KKT条件可以叙述为以下定理。

设$x^{*}$为问题\eqref{eq:prob1}的一个可行解，$I$为在$x^{*}$处起作用的下标集合，设$g_{i}(x)$，$(i=1,2,\cdots,m)$在$x$处连续，$f(x)$、$g_{i}(x),i\in I$，$h_{j}(x),(j=1,2,\cdots,p)$在$x^{*}$处连续可微，$\{\nabla g_{i}(x^{*}),\nabla h_{j}(x^{*})|i\in I,j=1,2,\cdots,p\}$线性无关。如果$x^{*}$是局部极小值点，则存在$\lambda_{i}^{*}\ge0,(i\in I)$和$\mu_{j}^{*},(j=1,2,\cdots,p)$，使得
\[
\nabla f(x^{*})+\sum_{i\in I}\lambda_{i}^{*}\nabla g_{i}(x^{*})+\sum_{i=1}^{p}\mu_{j}^{*}\nabla h_{j}(x^{*})=0
\]
如果$g_{i}(x),(i\notin I)$在$x^{*}$也是可微的，则上述结论可以表达为：存在$\lambda_{i},(i=1,2,\cdots,m)$和$\mu_{j},(j=1,2,\cdots,p)$使得
\[
\nabla f(x^{*})+\sum_{i=1}^{m}\lambda_{i}^{*}\nabla g_{i}(x^{*})+\sum_{i=1}^{p}\mu_{j}^{*}\nabla h_{j}(x^{*})=0
\]
\begin{eqnarray}
g_{i}(x^{*})\le0 & ( & i=1,2,\cdots,m)\label{eq:kkt-cri}\\
h_{j}(x^{*})=0 & ( & j=1,2,\cdots,p)\label{eq:kkt-cri1}\\
\lambda_{i}^{*}g_{i}(x^{*})=0 & ( & i=1,2,\cdots,m)\label{eq:kkt-cri2}\\
\lambda_{i}^{*}\ge0 & ( & i=1,2,\cdots,m)\label{eq:kkt-cri3}
\end{eqnarray}
由于只用梯度，所以也称为KKT一阶必要条件。

注意到，\eqref{eq:kkt-cri2}式表明，如果$g_{i}$起约束作用，则$g_{i}(x^{*})=0$；如果$g_{i}$不起作用，则说明$g_{i}(x^{*})<0$，$\lambda_{i}^{*}=0$。\eqref{eq:kkt-cri2}式保证不起约束的$g_{i}$不参与最优解的计算。

KKT是最优解的必要条件，如果某一个候选点不满足KKT条件，则说明其一定不是最优点。但对于凸规划来说，KKT条件式\eqref{eq:kkt-cri}--\eqref{eq:kkt-cri3}也是充分条件。