拉格朗日对偶性

原始问题：

假设$f(x),c_{i}(x),h_{j}(x)$是定义在$R^{n}$上的连续可微函数，考虑约束最优化问题：

　　$\underset{x\in R^{n}}{min}f(x)$

　　$s.t. \ c_{i}(x)\leq 0,i=1,2,3...k$

　　    $h_{j}(x)= 0,j=1,2,3...l$

引入拉格朗日函数：

　　$L(x,\alpha ,\beta)=f(x)+\sum_{i=1}^{k} \alpha_{i}c_{i}(x)+\sum_{j=1}^{l}\beta_{j}h_{j}(x)$

这里，$\alpha_{i},\beta_{j}$是拉格朗日乘子，$\alpha \geq 0$。则原始问题：

　　$\theta_{p}(x)=\underset{\alpha_{i},\beta_{j},\alpha_{i}\geq 0}{max}L(x,\alpha,\beta)$

如果$c_{i},h_{j}$不满足条件则存在一个$\alpha_{i}$和$\beta_{i}$使得$\theta_{p}(x)$趋于无穷：

　　$\left\{\begin{matrix}c_{i}(x)>0 \Rightarrow  \alpha_{i}c_{i} \rightarrow + \infty \\ h_{j}(x)\neq 0 \Rightarrow  \beta_{j}h_{j} \rightarrow  + \infty \end{matrix}\right.$

　　$\theta_{p}(x)=+\infty $

所以：

　　$\theta_{p}(x)= \left\{\begin{matrix}f(x),c_{i}\leq 0,h_{j}= 0 \\ +\infty ,other \end{matrix}\right.$

　　$\underset{x}{min}\theta_{p}(x)=\underset{x}{min}\underset{\alpha_{i},\beta_{j},\alpha_{i}\geq 0}{max}L(x,\alpha,\beta)$

原始问题最优解是：

　　$p^{*}=\underset{x}{min}\theta_{p}(x)$

 

对偶问题：

定义：

　　$\theta_{D}(\alpha,\beta)=\underset{x}{min}L(x,\alpha,\beta)$　　

再考虑极大化$\theta_{D}(\alpha,\beta)=\underset{x}{min}L(x,\alpha,\beta)$：

　　$\underset{\alpha_{i},\beta_{j},\alpha_{i}\geq 0}{max} \theta_{D}(\alpha,\beta)=\underset{\alpha_{i},\beta_{j},\alpha_{i}\geq 0}{max} \underset{x}{min}L(x,\alpha,\beta)$

这是广义拉格朗日函数的极大极小问题

所以最优解为：

　　$d^{*}=\underset{\alpha_{i},\beta_{j},\alpha_{i}\geq 0}{max}\theta_{D}(\alpha,\beta)$

 

原始问题和对偶问题的关系：

若原始问题和对偶问题都有最优解，则：

　　$d^{*}=\underset{\alpha_{i},\beta_{j},\alpha_{i}\geq 0}{max} \underset{x}{min} \ L(x,\alpha,\beta) \leq \underset{x}{min} \underset{\alpha_{i},\beta_{j},\alpha_{i}\geq 0}{max} L(x,\alpha,\beta)=p^{*}$

证明：

　　$\theta_{D}(\alpha,\beta)=\underset{x}{min}L(x,\alpha,\beta)\leq L(x,\alpha,\beta)\leq \underset{\alpha_{i},\beta_{j},\alpha_{i}\geq 0}{max}L(x,\alpha,\beta)=\theta _{p}(x)$

即：

　　$\theta_{D}(\alpha,\beta)\leq \theta _{p}(x)$

由于原始问题和对偶问题均有最优解，所以：

　　$\underset{\alpha_{i},\beta_{j},\alpha_{i}\geq 0}{max}\theta_{D}(\alpha,\beta)\leq \underset{x}{min}\ \theta _{p}(x)$

$x^{*},\alpha^{*},\beta^{*}$是最优解，如果它们符合KKT条件则$p^{*}=d^{*}$：

　　$\triangledown_{x}L(x^{*},\alpha^{*},\beta^{*})=0$

　　$\triangledown_{\alpha}L(x^{*},\alpha^{*},\beta^{*})=0$

　　$\triangledown_{\beta}L(x^{*},\alpha^{*},\beta^{*})=0$

　　$a_{i}^{*}c_{i}(x^{*})=0,i=1,2..k$

　　$c_{i}(x^{*})\leq 0,i=1,2..k$

　　$a_{i}^{*}\geq 0,i=1,2..k$

　　$h_{j}(x^{*})=0,j=1,2..l$