用实例并可视化去理解拉格朗日对偶函数的凹性质

考虑约束最优化问题：

\begin{aligned} m i n & f (x) \\ s . t . & c_{i} (x) \leq 0, i = 1, 2, . . ., l, \\ h_{i} (x) = 0, i = l + 1, l + 2, . . ., n \end{aligned}

$\begin{aligned} &min &&f(x) \\ &s.t. &&c_i(x)\leq 0, i=1,2,...,l,\\ &&&h_i(x) = 0,i=l+1,l+2,...,n \end{aligned}$

拉格朗日化后为：

\begin{aligned} Δ L (x, \vec{λ}) = Δ L (x, λ_{1}, λ_{2}, \dots, λ_{n}) = Δ (f (x, y) + \sum_{i = 1}^{l} λ_{i} c_{i} (x) + \sum_{i = l + 1}^{n} λ_{i} h_{i} (x)) = 0, \\ s . t . \forall i \in {1, 2, . . ., l}, λ_{i} \geq 0 \end{aligned}

$\begin{aligned} &\Delta L(x,\vec{\lambda}) = \Delta L(x,\lambda_1,\lambda_2,\cdots,\lambda_n) = \Delta(f(x,y)+\sum_{i=1}^{l}\lambda_i c_i(x)+\sum_{i=l+1}^{n}\lambda_i h_i(x)) = 0,\\ &s.t. \forall i \in \{1,2,...,l\}, \lambda_i \geq 0 \end{aligned}$

该拉格朗日函数为：

L (x, \vec{λ}) = f (x) + \sum_{i = 1}^{l} λ_{i} c_{i} (x) + \sum_{i = l + 1}^{n} λ_{i} h_{i} (x), \forall i \in {1, 2, . . ., l}, λ_{i} \geq 0

$L(x,\vec{\lambda})=f(x)+\sum_{i=1}^{l}\lambda_i c_i(x)+\sum_{i=l+1}^{n}\lambda_i h_i(x),\forall i \in \{1,2,...,l\}, \lambda_i \geq 0$

因为 $\forall i \in \{1,2,\cdots,l\}$ , $c_i(x) \leq 0,\lambda_i \geq 0;\forall i \in \{l+1,l+2,\cdots,n\}$ , $h_i(x) = 0$ ，所以：

L (x, \vec{λ}) = f (x) + \sum_{i = 1}^{l} λ_{i} c_{i} (x) + \sum_{i = l + 1}^{n} λ_{i} h_{i} (x) \leq f (x)

$L(x,\vec{\lambda}) = f(x)+\sum_{i=1}^{l}\lambda_i c_i(x)+\sum_{i=l+1}^{n}\lambda_i h_i(x) \leq f(x)$

就是说：对任意的 $x$ ，

拉格朗日函数都不大于原函数
那么，拉格朗日函数的最小值肯定不大于原函数的最小值
则有：

m i n (L (x, \vec{λ})) \leq m i n (f (x))

$min(L(x,\vec{\lambda})) \leq min(f(x))$

于是，我们把拉格朗日的对偶函数定义为：

g (\vec{λ}) = m i n (L (x, \vec{λ})) = m i n (f (x) + \sum_{i = 1}^{l} λ_{i} c_{i} (x) + \sum_{i = l + 1}^{n} λ_{i} h_{i} (x))

$g(\vec{\lambda}) = min(L(x,\vec{\lambda})) = min(f(x)+\sum_{i=1}^{l}\lambda_i c_i(x)+\sum_{i=l+1}^{n}\lambda_i h_i(x))$ 函数

g

$g$ 的意义为：对于每一个

\vec{λ}

$\vec{\lambda}$ ,找到一个

x

$x$ ，使得函数

L (x, \vec{λ})

$L(x,\vec{\lambda})$ 最小

现在，让我们看看拉格朗日对偶函数的凹性质：

函数

g (\vec{λ})

$g(\vec{\lambda})$ 可以写成如下形式：

\begin{aligned} g (\vec{λ}) & = m i n (f (x) + \sum_{i = 1}^{l} λ_{i} c_{i} (x) + \sum_{i = l + 1}^{n} λ_{i} h_{i} (x)) \\ = m i n (f (x) + [\begin{matrix} c_{1} (x) & c_{2} (x) & \dots & c_{l} (x) & h_{l + 1} (x) & h_{l + 2} (x) & \dots & h_{n} (x) \end{matrix}] \cdot [\begin{matrix} λ_{1} & λ_{2} & \dots & λ_{n} \end{matrix}]) \end{aligned}

$\begin{aligned} g(\vec{\lambda}) &= min(f(x)+\sum_{i=1}^{l}\lambda_i c_i(x)+\sum_{i=l+1}^{n}\lambda_i h_i(x))\\ &=min(f(x)+\left[\begin{matrix} c_1(x)&c_2(x)&\cdots&c_l(x)&h_{l+1}(x)&h_{l+2}(x)&\cdots&h_n(x) \end{matrix} \right] · \left[\begin{matrix} \lambda_1&\lambda_2&\cdots&\lambda_n \end{matrix} \right]) \end{aligned}$ 其中，

\begin{aligned} f (x) \in R, \\ \forall i \in {1, 2, \dots, l}, c_{i} (x) \leq R, \\ \forall i \in {l + 1, l + 2, \dots, n}, h_{i} (x) = 0 \end{aligned}

$\begin{aligned} &f(x) \in R,\\ &\forall i \in \{1,2,\cdots,l\},c_i(x) \leq R,\\ &\forall i \in \{l+1,l+2,\cdots,n\},h_i(x) = 0 \end{aligned}$ 就是说，

k (\vec{λ}) = [\begin{matrix} \vec{c (x)}; \vec{h (x)} \end{matrix}] \cdot \vec{λ}

$k(\vec{\lambda})= \left[\begin{matrix} \vec{c(x)};\vec{h(x)}\end{matrix} \right] · \vec{\lambda}$ 是一个超平面(类似于

2 \cdot x

$2 · x$ ，前面的‘；’表示拼接两个向量)，

[\begin{matrix} \vec{c (x)}; \vec{h (x)} \end{matrix}]

$\left[\begin{matrix} \vec{c(x)};\vec{h(x)}\end{matrix} \right]$ 就是一个超平面的系数。那么说明：对于任意的

x

$x$ ，

[\begin{matrix} \vec{c (x)}; \vec{h (x)} \end{matrix}] \cdot \vec{λ}

$\left[\begin{matrix} \vec{c(x)};\vec{h(x)}\end{matrix} \right] · \vec{\lambda}$ 对应一个不同的超平面。让我们来看二维平面中的几个'超平面'：（在下图中，

[\begin{matrix} \vec{c (x)}; \vec{h (x)} \end{matrix}]

$\left[\begin{matrix} \vec{c(x)};\vec{h(x)}\end{matrix} \right]$ 分别对应‘超平面’的系数，

\vec{λ}

$\vec{\lambda}$ 为点

(x, y)

$(x,y)$ ）

三维空间中的几个‘超平面’

左图在点（-5-5）处往上掰看的视图

从图中可以看到，不同的超平面相交后，如果我们对于一个 $\vec{\lambda}$ ，取，使函数 $k(\vec{\lambda})$ ，最小的值，那么可以看到：

最终的取值面接近一个倒扣着的碗也就是说：

m i n ([\begin{matrix} \vec{c (x)}; \vec{h (x)} \end{matrix}] \cdot \vec{λ})

$min \left ( \left [ \begin{matrix} \vec{c(x)};\vec{h(x)}\end{matrix} \right ] · \vec{\lambda} \right )$ 是凹的。从而：

\begin{aligned} g (\vec{λ}) & = m i n (f (x) + \sum_{i = 1}^{l} λ_{i} c_{i} (x) + \sum_{i = l + 1}^{n} λ_{i} h_{i} (x)) \\ = m i n (f (x) + [\begin{matrix} c_{1} (x) & c_{2} (x) & \dots & c_{l} (x) & h_{l + 1} (x) & h_{l + 2} (x) & \dots & h_{n} (x) \end{matrix}] \cdot [\begin{matrix} λ_{1} & λ_{2} & \dots & λ_{n} \end{matrix}]) \end{aligned}

x = linspace(-5,5,100);
y = linspace(-5,5,100);
[x,y]=meshgrid(x,y);

z1 = x.*2+y.*3;
z2 = x.*4+y.*2;
z3 = x.*(-2)+y.*6;
z4 = x.*(-3)+y.*(-3);
surf(x,y,z1);hold on;surf(x,y,z2);hold on;surf(x,y,z3);surf(x,y,z4);
hold on; legend('z=2x+3y','z=4x+2y','z=-2x+6y','z=-3x-3y');