[最优化]不等式约束的优化问题求解

不等式约束的优化问题求解

与前文讨论的只含等式约束的优化问题求解类似，含不等式约束的优化问题同样可以用拉格朗日乘子法进行求解
对于一般形式的优化问题：

minimizef(x)subject toh(x)=0g(x)≤0$$\begin{gathered} minimizef(x) \\ subjecttoh(x)=0 \\ g(x)\le 0 \end{gathered}$$

其中，f:Rn→R,h:Rn→Rm,m≤n,g:Rn→Rp$f:R^n\to R,h:R^n\to R^m,m\le n,g:R^n\to R^p$
引入下面两个定义：

定义1：对于一个不等式约束gj(x)≤0$g_j(x)\le 0$，如果在x∗$x^{\ast }$处gj(x∗)=0$g_j(x^{\ast })=0$，那么称该不等式约束是x∗$x^{\ast }$处的起作用约束；如果在x∗$x^{\ast }$处gj(x∗)<0$g_j(x^{\ast })<0$，那么称该约束是x∗$x^{\ast }$处的不起作用约束。按照惯例，总是把等式约束hi(x)$h_i(x)$当作起作用的约束

定义2：设x∗$x^{\ast }$满足h(x∗)=0,g(x∗)≤0$h(x^{\ast })=0,g(x^{\ast })\le 0$，设J(x∗)$J(x^{\ast })$为起作用不等式约束的下标集：

J(x∗)≜{j:gj(x∗)=0}$$J(x^{\ast })\triangleq \{j:g_j(x^{\ast })=0\}$$

如果向量

∇hi(x∗),∇gj(x∗),1≤i≤m,j∈J(x∗)$$\mathrm{\nabla }{h}_i(x^{\ast }),\mathrm{\nabla }{g}_j(x^{\ast }),1\le i\le m,j\in J(x^{\ast })$$

是线性无关的，那么称x∗$x^{\ast }$是一个正则点

下面介绍某个点是局部极小点所满足的一阶必要条件，即KKT条件。
KKT条件：设f,h,g∈C1$f,h,g\in C^1$，设x∗$x^{\ast }$是问题h(x)=0,g(x)≤0$h(x)=0,g(x)\le 0$的一个正则点和局部极小点，那么必然存在λ∗∈Rm${\lambda }^{\ast }\in R^m$和μ∗∈Rp${\mu }^{\ast }\in R^p$，使得以下条件成立：

μ∗≥0Df(x∗)+λ∗TDh(x∗)+μ∗TDg(x∗)=0Tμ∗Tg(x∗)=0h(x∗)=0g(x∗)≤0$$\begin{gathered} {\mu }^{\ast }\ge 0 \\ Df(x^{\ast })+{\lambda }^{\ast T}Dh(x^{\ast })+{\mu }^{\ast T}Dg(x^{\ast })=0^T \\ {\mu }^{\ast T}g(x^{\ast })=0 \\ h(x^{\ast })=0 \\ g(x^{\ast })\le 0 \end{gathered}$$

那么在求解不等式约束的最优化问题的时候，可以搜索满足KKT条件的点，并将这些点作为极小点的候选对象。

二阶充分必要条件

除了一阶的KKT条件之外，求解这类问题还有二阶的充分必要条件。

二阶必要条件：在上述的问题中若x∗$x^{\ast }$是极小点且f,h,g∈C2$f,h,g\in C^2$。假设x∗$x^{\ast }$是正则点，那么存在λ∗∈Rm${\lambda }^{\ast }\in R^m$和μ∗∈Rp${\mu }^{\ast }\in R^p$使得

1. μ∗≥0,Df(x∗)+λ∗TDh(x∗)+μ∗TDg(x∗)=0T,μ∗Tg(x∗)=0${\mu }^{\ast }\ge 0,Df(x^{\ast })+{\lambda }^{\ast T}Dh(x^{\ast })+{\mu }^{\ast T}Dg(x^{\ast })=0^T,{\mu }^{\ast T}g(x^{\ast })=0$
2. 对于所有y∈T(x∗)$y\in T(x^{\ast })$，都有yTL(x∗,λ∗,μ∗)y≥0$y^{T}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })y\ge 0$成立

二阶充分条件：假定f,h,g∈C2$f,h,g\in C^2$，x∗∈Rn$x^{\ast }\in R^n$是一个可行点，存在向量λ∗∈Rm${\lambda }^{\ast }\in R^m$和μ∗∈Rp${\mu }^{\ast }\in R^p$使得

1. μ∗≥0,Df(x∗)+λ∗TDh(x∗)+μ∗TDg(x∗)=0T,μ∗Tg(x∗)=0${\mu }^{\ast }\ge 0,Df(x^{\ast })+{\lambda }^{\ast T}Dh(x^{\ast })+{\mu }^{\ast T}Dg(x^{\ast })=0^T,{\mu }^{\ast T}g(x^{\ast })=0$
2. 对于所有y∈T˜(x∗,μ∗),y≠0$y\in \tilde{T}(x^{\ast },{\mu }^{\ast }),y\ne 0$，都有yTL(x∗,λ∗,μ∗)y>0$y^{T}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })y>0$成立

那么x∗$x^{\ast }$是优化问题h(x)=0,g(x)≤0$h(x)=0,g(x)\le 0$的严格局部极小点