凸优化 | Lagrange 对偶：极大极小不等式的证明

背景：

• Lagrange 对偶：对于优化问题

$$\begin{array}{rlr}& \mathrm{minimize}& f_0(x)\\ & \mathrm{subject}\mathrm{to}& f_i(x)\le 0,h_j(x)=0\end{array}$$

• 可以建立其 Lagrange 对偶函数 $L(x,\lambda ,\nu )=f_0(x)+\sum {\lambda }_i{f}_i(x)+\sum {\nu }_j{h}_j(x)$ ， $g(\lambda ,\nu )=\underset{x}{inf}L(x,\lambda ,\nu )$。
  • 无论 $g(\lambda ,\nu )$ 中 $\lambda ,\nu$ 怎么变化，它的值都一定是原目标函数的下界，因此其最大值 $d^{\ast }=\underset{(\lambda ,\nu )}{sup}\underset{x}{inf}L(x,\lambda ,\nu )$ 也是原目标函数的下界。
  • 原目标函数的最优值，可以写成如下形式： $p^{\ast }=\underset{x}{inf}\underset{(\lambda ,\nu )}{sup}L(x,\lambda ,\nu )$。因此有 $d^{\ast }\le p^{\ast }$ ， $\underset{(\lambda ,\nu )}{sup}\underset{x}{inf}L(x,\lambda ,\nu )\le \underset{x}{inf}\underset{(\lambda ,\nu )}{sup}L(x,\lambda ,\nu )$ 。

极大极小不等式：

• 事实上，对于任意函数 f(w,z)，都有 sup inf ≤ inf sup 成立，被称为极大极小不等式。
• 极大极小不等式： $\underset{z}{sup}\underset{w}{inf}f(w,z)\le \underset{w}{inf}\underset{z}{sup}f(w,z)$ 。
• 证明：
  • 首先，有 $\underset{w}{inf}f(w,z)\le f(w_0,z)$，z 在定义域上变化，$\underset{w}{inf}f(w,z)$ 是 $f(w_0,z)$ 的逐点下界。
  • 因此，可以有 $\underset{z}{sup}\underset{w}{inf}f(w,z)\le \underset{z}{sup}f(w_0,z)$ ，函数最大值（上界）也满足 ≥ 关系。
  • 最后，令 $w_0=\arg \underset{w}{min}[\underset{z}{sup}f(w,z)]$，即可得到 $\underset{z}{sup}\underset{w}{inf}f(w,z)\le \underset{w}{inf}\underset{z}{sup}f(w,z)$ 。