广义拉格朗日与对偶问题

广义拉格朗日函数

给定不等式约束问题

\[\min_{z \in \mathbb{R}^{n}} f(x) \]

\[\begin{array}{l} {\text { s.t. } \ c_{i}(x) \le 0, \quad i=1,2, \cdots, k} \\ {\quad \ \ \ \ h_{j}(x)=0, \quad j=1,2, \cdots, l}\end{array} \]

定义广义拉格朗日函数(generalized Lagrange function)

\[L(x, \alpha, \beta)=f(x)+\sum_{i=1}^{k} \alpha_{i} c_{i}(x)+\sum_{j=1}^{l} \beta_{j} h_{j}(x) \]

这里\(x=\left(x^{(1)}, x^{(2)}, \cdots, x^{(n)}\right)^{\mathrm{T}} \in \mathbb{R}^{n}, \ \alpha_{i}, {\beta}_{j}\)是拉格朗日乘子，\(\alpha_i\ge 0\), 考虑\(x\)的函数

\[\theta_{P}(x)=\max _{\alpha, \beta; \alpha_{i} \ge 0} L(x, \alpha, \beta) \]

则

\[\theta_{p}(x)=\left\{\begin{array}{l}{f(x)}, \ x\mbox{满足原始问题约束} \\ {+\infty}, \ \mbox{其他}\end{array}\right. \]

（有严格证明，这里略过）

极小化问题\(\min _{x} \theta_{P}(x)=\min _{x} \max _{\alpha, \beta ; \alpha_{i} \ge0} L(x, \alpha, \beta)\)原问题有相同的解

拉格朗日函数相当于构造了一个含参函数，在满足约束条件的情况下，这个函数的值总是小于等于目标函数\(f(x)\)。而我们此时选取合适的参数\(α\)、\(β\)令该函数最大可使等号成立，即令\(L(x,α,β)=f(x)\)；若不满足约束条件，则总存在\(α、β\)使得该函数趋向于+∞。

定义原始问题的最优值为\(p^{*}=\min _{x} \theta_{p}(x)\)

对偶问题

定义\(\theta_{D}(\alpha, \beta)=\min _{x} L(x, \alpha, \beta)\)

我们得到极大极小问题

\[{\max _{\alpha, \beta} \theta_{D}(\alpha, \beta)=\max _{\alpha, \beta} \min _{x} L(x, \alpha, \beta)} \\ {\text { s.t. } \quad \alpha_{i} \geq 0, \quad i=1,2, \cdots, k} \]

称为原问题（极小极大问题）的对偶问题

定义对偶问题的最优值为\(d^{*}=\max _{\alpha, \beta ; \alpha_{i} \geq 0} \theta_{D}(\alpha, \beta)\)

原始问题与对偶问题的关系

性质1 （弱对偶性）\(d^* \le p^*\)。p是先求最大的一块区域然后在这块区域求最小，d是先求最小的一块区域然后在这块区域求最大，最大里面的最小，总会比最小里面的最大要大。

性质2 （强对偶充分条件）若\(f(x)\)和\(c_i(x)\)是凸函数，\(h_j(x)\)是仿射函数，并且不等式约束是严格可行的（即\(\exists x,\forall i,\text{有}c_i(x)<0\)）则存在\(x^*\),\(\alpha^*\) ,\(\beta^*\) 使\(x^*\)是原始问题的解，\(\alpha^*,\beta^*\)是对偶问题的解， 并且

\[p^{*}=d^{*}=L\left(x^{*}, \alpha^{*}, \beta^{*}\right) \]

性质3 （强对偶充要条件）若\(f(x)\)和\(c_i(x)\)是凸函数，\(h_j(x)\)是仿射函数，并且不等式约束是严格可行的，则\(x^*\)是原始问题的解，\(\alpha^*,\beta^*\)是对偶问题的解的充要条件就是它们满足KKT（ Karush-Kuhn-Tucker）条件

\[\begin{array}{l}{\nabla_{x} L\left(x^{*}, \alpha^{*}, \beta^{*}\right)=0} \\ {\nabla_{\alpha} L\left(x^{*}, \alpha^{*}, \beta^{*}\right)=0} \\ {\nabla_{\beta} L\left(x^{*}, \alpha^{*}, \beta^{*}\right)=0}\end{array}\\ \begin{array}{rl}{\alpha_{i}^{*} c_{i}\left(x^{*}\right)=0,} & {i=1,2, \cdots, k} \\ {c_{i}\left(x^{*}\right) \le0,} & {i=1,2, \cdots, k} \\ {\alpha_{i}^{*} \ge 0,} & {i=1,2, \cdots, k} \\ {h_{j}\left(x^{*}\right)=0,} & {j=1,2, \cdots, l}\end{array} \]

KKT条件的直观理解(两个例子)

等式约束

目标函数\(f(x) = x_1 + x_2\)，等式约束\(h(x) = x_1^2 + x_2^2 - 2\) ，求解极小值点。

不等式约束

考虑目标函数\(f(x) = x_1^2 + x_2^2\) ，不等式约束\(g(x) = x_1^2 + x_2^2 - 1\le0\)，显然\(f(x)\)的极小值为原点(0,0)，落在可行域内。可行域以原点为圆心，半径为1。

这种情况约束不起作用，考虑极小值点\(x^*\)，这个时候，\(g(x^*) < 0\)，\(f(x^*)\)的梯度等于0。

考虑目标函数\(f(x) = (x_1 - 1.1)^2 + (x_2 + 1.1)^2\) ，不等式约束\(g(x) = x_1^2 + x_2^2 - 1 \le0\)，显然f(x)的极小值为原点(1.1, -1.1)，落在可行域外。可行域以原点为圆心，半径为1。这种情况约束起作用，要考虑求解\(f(x)\)在可行域内的极小值点