[最优化]等式约束的优化问题求解

等式约束的优化问题求解

基本概念

本文将讨论下类形状的优化问题

minimizef(x)subject toh(x)=0$$\begin{gathered} minimizef(x) \\ subjecttoh(x)=0 \end{gathered}$$

其中x∈Rn,f:Rn→R,h:Rn→Rm,h=[h1,...,hm]T,m≤n$x\in R^n,f:R^n\to R,h:R^n\to R^m,h=[h_1,...,h_m{]}^T,m\le n$，假定函数h$h$连续可微，即h∈C1$h\in C^1$。
下面介绍几个基本概念：

正则点：对于满足约束h1(x∗)=0,...,hm(x∗)=0$h_1(x^{\ast })=0,...,h_m(x^{\ast })=0$的点x∗$x^{\ast }$，如果梯度向量∇h1(x∗),...,∇hm(x∗)$\mathrm{\nabla }{h}_1(x^{\ast }),...,\mathrm{\nabla }{h}_m(x^{\ast })$是线性无关的，则称x∗$x^{\ast }$是该约束的一个正则点。

切线空间：曲面S=x∈Rn:h(x)=0$S=x\in R^n:h(x)=0$中点x∗$x^{\ast }$处的切线空间为集合T(x∗)={y:Dh(x∗)y=0}$T(x^{\ast })=\{y:Dh(x^{\ast })y=0\}$。可以看出切线空间T(x∗)$T(x^{\ast })$是矩阵Dh(x∗)$Dh(x^{\ast })$的零空间，即T(x∗)=N(Dh(x∗))$T(x^{\ast })=N(Dh(x^{\ast }))$。

法线空间：曲面S=x∈Rn:h(x)=0$S=x\in R^n:h(x)=0$中点x∗$x^{\ast }$处的法线空间为集合N(x∗)={x∈Rn:x=Dh(x∗)Tz,z∈Rm}$N(x^{\ast })=\{x\in R^n:x=Dh(x^{\ast }{)}^{T}z,z\in R^m\}$。可以看出法线空间N(x∗)$N(x^{\ast })$是矩阵Dh(x∗)$Dh(x^{\ast })$的零空间，即N(x∗)=R(Dh(x∗)T)$N(x^{\ast })=R(Dh(x^{\ast }{)}^T)$。

拉格朗日条件

首先考虑只包含两个决策变量和一个等式约束的优化问题。令h:R2→R$h:R^2\to R$为约束函数，可知函数定义域中x$x$处的梯度∇h(x)$\mathrm{\nabla }h(x)$与通过该点的h(x)$h(x)$水平集正交，选择点x∗=[x∗1,x∗1]T$x^{\ast }=[x_1^{\ast },x_1^{\ast }{]}^T$使得h(x∗)=0$h(x^{\ast })=0$，且∇h(x∗)≠0$\mathrm{\nabla }h(x^{\ast })\ne 0$，经过点x∗$x^{\ast }$的水平集为集合{x:h(x)=0}$\{x:h(x)=0\}$。可利用曲线x(t)$x(t)$在x∗$x^{\ast }$领域内进行参数化，x(t)$x(t)$是一个连续可微的向量函数h:R→R2$h:R\to R^2$：

x(t)=[x1(t),x1(t)]T,t∈(a,b),x∗=x(t∗),x˙(t∗)≠0,t∗∈(a,b)$$x(t)=[x_1(t),x_1(t){]}^T,t\in (a,b),x^{\ast }=x(t^{\ast }),\dot{x}(t^{\ast })\ne 0,t^{\ast }\in (a,b)$$

接下来可以证明，∇h(x∗)$\mathrm{\nabla }h(x^{\ast })$与x˙(t∗)$\dot{x}(t^{\ast })$正交。由于h$h$在曲线{x(t):t∈(a,b)}$\{x(t):t\in (a,b)\}$上是常数0，即对于所有的t∈(a,b)$t\in (a,b)$都有

h(x(t))=0$$h(x(t))=0$$

因此对于任意的t∈(a,b)$t\in (a,b)$都有

ddth(x(t))=0$$\frac{d}{dt}h(x(t))=0$$

利用链式法则可以得到

ddth(x(t))=∇h(x(t))Tx˙(t)=0$$\frac{d}{dt}h(x(t))=\mathrm{\nabla }h(x(t){)}^T\dot{x}(t)=0$$

因此∇h(x∗)$\mathrm{\nabla }h(x^{\ast })$和x˙(t∗)$\dot{x}(t^{\ast })$正交
当x∗$x^{\ast }$是f:R→R2$f:R\to R^2$在满足h(x)=0$h(x)=0$上的极小点的时候，可以证明，∇f(x∗)$\mathrm{\nabla }f(x^{\ast })$与x˙(t∗)$\dot{x}(t^{\ast })$正交，构造关于t$t$的复合函数：

ϕ(t)=f(x(t))$$\varphi (t)=f(x(t))$$

当t=t∗$t=t^{\ast }$的时候取得极小值，根据无约束极值问题的一阶必要条件可知

dϕdt(t∗)=0$$\frac{d\varphi }{dt}(t^{\ast })=0$$

利用链式法则可以得到

ddtϕ(t∗)=∇f(x(t∗))Tx˙(t∗)=∇f(x∗)Tx˙(t∗)=0$$\frac{d}{dt}\varphi (t^{\ast })=\mathrm{\nabla }f(x(t^{\ast }){)}^T\dot{x}(t^{\ast })=\mathrm{\nabla }f(x^{\ast }{)}^T\dot{x}(t^{\ast })=0$$

因此，∇f(x∗)$\mathrm{\nabla }f(x^{\ast })$和x˙(t∗)$\dot{x}(t^{\ast })$正交，上面已经证明∇f(x∗)$\mathrm{\nabla }f(x^{\ast })$与x˙(t∗)$\dot{x}(t^{\ast })$正交，那么向量∇f(x∗)$\mathrm{\nabla }f(x^{\ast })$和∇h(x∗)$\mathrm{\nabla }h(x^{\ast })$平行，那么可以得到这种情况下的拉格朗日定理：

n=2,m=3时的拉格朗日定理：设点x∗$x^{\ast }$是函数f:R2→R$f:R^2\to R$的一个极小点，约束条件是h(x)=0,h:R2→R$h(x)=0,h:R^2\to R$,那么∇f(x∗)$\mathrm{\nabla }f(x^{\ast })$和∇h(x∗)$\mathrm{\nabla }h(x^{\ast })$平行，即如果∇h(x∗)≠0$\mathrm{\nabla }h(x^{\ast })\ne 0$，则存在标量λ∗${\lambda }^{\ast }$，使得

∇f(x∗)+λ∗∇h(x∗)=0$$\mathrm{\nabla }f(x^{\ast })+{\lambda }^{\ast }\mathrm{\nabla }h(x^{\ast })=0$$

其中λ∗${\lambda }^{\ast }$为拉格朗日乘子。
将这个定理推广到一般情况下，即f:Rn→R,h:Rn→Rm,m≤n$f:R^n\to R,h:R^n\to R^m,m\le n$的时候，可以得到：
拉格朗日定理：x∗$x^{\ast }$是f:Rn→R$f:R^n\to R$的局部极小点（或极大点），约束条件为h(x)=0,h:Rn→Rm,m≤n$h(x)=0,h:R^n\to R^m,m\le n$。如果x∗$x^{\ast }$是正则点，那么存在λ∗∈Rm${\lambda }^{\ast }\in R^m$使得

Df(x∗)+λ∗TDh(x∗)=0$$Df(x^{\ast })+{\lambda }^{\ast T}Dh(x^{\ast })=0$$

二阶条件

二阶必要条件：设x∗$x^{\ast }$是f:Rn→R$f:R^n\to R$在约束条件h(x)=0,h:Rn→Rm,m≤n,f,h∈C2$h(x)=0,h:R^n\to R^m,m\le n,f,h\in C^2$下的局部极小点。如果x∗$x^{\ast }$是正则点，那么存在λ∗∈Rm${\lambda }^{\ast }\in R^m$使得

1.Df(x∗)+λ∗TDh(x∗)=0T$Df(x^{\ast })+{\lambda }^{\ast T}Dh(x^{\ast })=0^T$
2.对于所有的y∈T(x∗)$y\in T(x^{\ast })$，都有yTL(x∗,λ∗)y≥0$y^{T}L(x^{\ast },{\lambda }^{\ast })y\ge 0$

二阶充分条件：函数f,h∈C2$f,h\in C^2$，如果存在点x∗∈Rn$x^{\ast }\in R^n$和λ∗∈Rm${\lambda }^{\ast }\in R^m$，使得

1.Df(x∗)+λ∗TDh(x∗)=0T$Df(x^{\ast })+{\lambda }^{\ast T}Dh(x^{\ast })=0^T$
2.对于所有的y∈T(x∗)$y\in T(x^{\ast })$，都有yTL(x∗,λ∗)y>0$y^{T}L(x^{\ast },{\lambda }^{\ast })y>0$

那么x∗$x^{\ast }$是f$f$在约束条件h(x)=0$h(x)=0$下的严格局部极小点

本文介绍了等式约束下的拉格朗日乘子法，后面还将会介绍不等式约束下的拉格朗日乘子法以及KKT条件等，To be continue…