KKT 条件 及其 理解
现在我们对于任意一个优化问题（不一定是凸优化问题）：
\begin{split}\text{min}\quad & f_{0}(x) \newline \text{subject to:}\quad & f_{i}(x)\leq 0, i=1,...,m \newline & h_{i}(x)=0, i=1,...,p\end{split}
如果所有的出现的函数均为一阶可微函数，并且假设\(x^{\ast}\), \((\lambda^{\ast},\nu^{\ast})\)分别为（）问题和其对偶问题的最优解，gap 为0，那么我们很自然的有如下的条件：
\begin{split}f_{i}(x^{\ast})&\leq 0, i=1,...m; \newline h_{i}(x^{\ast})&=0, i=1,...,p \newline \lambda_{i}^{\ast}&\geq 0, i=1...m \newline \lambda_{i}{\ast}f_{i}(x)&=0, i=1,...m\newline \nabla f_{0}(x{\ast})+\sum_{i=1}\lambda_{i}^{\ast}\nabla f_{i}(x{\ast})+\sum_{i=1}\nu_{i}^{\ast}\nabla h_{i}(x^{\ast})&=0,\end{split}
现在我们考虑一下凸优化问题的情况，这个时候，我们也容易得到如下的逆命题成立：
定理 如果对于优化问题（），\(f_{i}\)(i=0,1,...,m) 均为一阶可微凸函数，\(h_{i}\)(i=1,...,p) 均为仿射函数，\(\tilde{x}\in D\), \(\tilde{\lambda}\in \mathbb{R}^{m}\), \(\tilde{\nu}\in \mathbb{R}^{p}\) 满足KKT 条件：
\begin{split}f_{i}(\tilde{x})&\leq 0, i=1,...m; \newline h_{i}(\tilde{x})&=0, i=1,...,p \newline \tilde{\lambda_{i}}&\geq 0, i=1...m \newline \tilde{\lambda_{i}}f_{i}(\tilde{x})&=0, i=1,...m\newline \nabla f_{0}(\tilde{x})+\sum_{i=1}^{m}\tilde{\lambda_{i}}\nabla f_{i}(\tilde{x})+\sum_{i=1}^{p}\tilde{\nu_{i}}\nabla h_{i}(\tilde{x})&=0,\end{split}
则\(\tilde{x}\), \((\tilde{\lambda},\tilde{\nu})\)分别是原始优化问题，对偶问题的解。
证明：
考察 Lagrange 函数：$$L: D \times\mathbb{R}{m}\times\mathbb{R}\rightarrow \mathbb{R},$$
\(L(x,\lambda,\nu)=f_{0}(x)+\sum_{i=1}^{m}\lambda_{i}f_{i}(x)+\sum_{i=1}^{p}\nu_{i}h_{i}(x)\).
为方便起见，我们使用之前一样的记号，记：\(p^{\ast}=\inf_{x\in D(f,h)}f_{0}\), \(g(\tilde{\lambda},\tilde{\nu})=\inf_{x\in D}L(x,\lambda,\nu)\)。
现在固定\(\lambda=\tilde{\lambda}\), \(\nu=\tilde{\nu}\), 由于 \(\tilde{\lambda_{i}}\geq 0\), \(h_{i}\) 是仿射函数，容易知道 \(L(x,\tilde{\lambda},\tilde{\nu})\)是关于\(x\)的凸函数，所有这时\(\nabla_{x} L(\tilde{x},\tilde{\lambda},\tilde{\nu})=0\) 保证了 \(L(x,\tilde{\lambda},\tilde{\nu})\) 在\(x=\tilde{x}\)除取极小值，所以这时候，对于任意的 \(x\in D\), 我们有：
\begin{split}L(x,\tilde{\lambda},\tilde{\nu})&\geq L(\tilde{x},\tilde{\lambda},\tilde{\nu})\newline &=f_{0}(\tilde{x})\end{split}
注意到由KKT条件，上式中的等号是显然成立的。这时候对上式两边取下确界，对\(x\in D\), 我们自然有：
