KKT&Dual

KKT

问题引入

我们考虑一个最优化问题：

$$\begin{aligned} (P)&\min f(x) \\ &\text{s.t. } g_i(x) \leq 0, \quad i = 1, 2, \ldots, m \\ &h_i(x) = 0, \quad i = 1, 2, \ldots, p \end{aligned}$$

假设问题拥有三个不等式约束和一个等式约束，在$x^\star$处应该会满足如下图的条件：

即在$x^\star$处，$f(x)$的负梯度方向（正交于约束曲面，因为不正交就可以沿着方向移动）可以表示为部分约束的梯度方向的线性组合，即

$$\nabla f(x^\star) = -\lambda_1 \nabla g_1(x^\star) - \lambda_2 \nabla g_2(x^\star)$$

其中$\lambda_1, \lambda_2 \geq 0$。

那么为了上述等式更加规范化，我们将$g_3(x)$也加入到约束中，即

$$\nabla f(x^\star) = -\lambda_1 \nabla g_1(x^\star) - \lambda_2 \nabla g_2(x^\star) - \lambda_3 \nabla g_3(x^\star) \\ \lambda_1, \lambda_2\geq 0, \ \lambda_3 = 0$$

可以将约束条件写为

$$\lambda_i g_i(x) = 0, \quad i = 1, 2, 3$$

直观地想，这是一个必要条件，因为很多地方都能满足这个条件，但是不一定是最优解。

那么如何将这样一个想法转化为一个标准的条件，这就是 KKT 条件的作用。

KKT 条件简述

KKT 条件：对于一个最优化问题，如果$x^\star$是一个局部最优解，且在$x^\star$处满足某一种 constraint qualification，那么最优解满足以下条件：

$$\begin{aligned} &\nabla f(x^\star) + \sum_{i=1}^m \lambda_i \nabla g_i(x^\star) + \sum_{i=1}^p \mu_i \nabla h_i(x^\star) = 0 \\ &\lambda_i \geq 0, \quad i = 1, 2, \ldots, m \\ &g_i(x^\star) \leq 0, \quad i = 1, 2, \ldots, m \\ &h_i(x^\star) = 0, \quad i = 1, 2, \ldots, p \\ &\lambda_i g_i(x^\star) = 0, \quad i = 1, 2, \ldots, m \end{aligned}$$

我们称满足条件的$\lambda_i, \mu_i$为拉格朗日乘子。

其中，第(1)(2)个条件称作Dual Feasibility，第(3)(4)个条件称作Primal Feasibility，第(5)个条件称作Complementary Slackness。

可以想象，$g_i(x^\star) < 0$对最优解的梯度方向不起作用。

其实可以指出，KKT 条件是一个必要条件，而不是充分条件。

KKT 条件的推导

证明 KKT 条件涉及三个集合、一个 constraint qualification 和 Farkas 引理，理论性较强，这里不做详细推导。

Dual Problem

我们依旧考虑上面提及的 Primal Problem

$$\begin{aligned} (P)&\min f(x) \\ &\text{s.t. } g_i(x) \leq 0, \quad i = 1, 2, \ldots, m \\ &h_i(x) = 0, \quad i = 1, 2, \ldots, p \end{aligned}$$

可行集合为

$$S = \{x \in \mathbb{R}^n | g_i(x) \leq 0, h_i(x) = 0\}$$

为什么我们需要从 Primal Problem 转化为 Dual Problem 呢？因为

1. 如果 P 问题非凸，求解原问题是一个 NP-hard 问题，而 Dual Problem 可能是一个凸优化问题
2. 当 P 问题是一个凸优化问题时，Dual Problem 可以帮助我们理解问题的几何性质
3. Dual Problem 可以帮助我们理解问题的最优解

拉格朗日对偶函数

我们定义拉格朗日函数

$$\mathcal{L}(x, \lambda, \mu) = f(x) + \sum_{i=1}^m \lambda_i g_i(x) + \sum_{i=1}^p \mu_i h_i(x),\quad x \in X, \lambda \geq 0$$

拉格朗日对偶函数定义为

$$dual(\lambda, \mu) = \inf_{x \in X} \mathcal{L}(x, \lambda, \mu)_{\quad \lambda_i \geq 0}$$

我们可以得到如下不等式：

$$dual(\lambda, \mu) = \inf_{x \in X} \mathcal{L}(x, \lambda, \mu)_{\quad \lambda_i \geq 0} \\ \leq \inf_{x \in S} \mathcal{L}(x, \lambda, \mu)_{\quad \lambda_i \geq 0} \\ \leq \inf_{x \in S} f(x)$$

如果我们 denote 原问题最优值为$p^\star$记为$v(p)$，那么我们可以得到如下结论：

$$\forall \lambda \geq 0, \mu, \quad dual(\lambda, \mu) \leq p^\star$$

即对偶函数是原问题最优值的下界。

拉格朗日对偶问题(求一个最大下界)

我们定义拉格朗日对偶问题为

$$\begin{aligned} (D)&\max dual(\lambda, \mu) \\ &\text{s.t. } \lambda_i \geq 0, \quad i = 1, 2, \ldots, m \end{aligned}$$

如果我们将对偶函数写开，则对偶问题可以写为

$$\begin{aligned} (D)&\max_{\lambda,\mu} \min_{x \in X} \mathcal{L}(x, \lambda, \mu) \\ &\text{s.t. } \lambda_i \geq 0, \quad i = 1, 2, \ldots, m \end{aligned}$$

如果我们考虑将最小值和最大值交换，那么可以得到如下问题

$$\begin{aligned} &\min_{x \in X} \max_{\lambda,\mu} \mathcal{L}(x, \lambda, \mu) \\ &\text{s.t. } \lambda_i \geq 0, \quad i = 1, 2, \ldots, m \end{aligned}$$

对于这个优化问题

1. 如果$\exist i, g_i(x) > 0$，那么最大值为无穷大
2. 如果$\exist i, h_i(x) \neq 0$，那么最大值为无穷大
3. 如果$\forall i, g_i(x) \leq 0, h_i(x) = 0$，那么最大值为$f(x)$，则此时可以等价为 Primal Problem

因此，这个问题，值希望有界的话，实际上与 Primal Problem 等价，即

$$\min_{x \in X} \max_{\lambda \geq 0, \mu} \mathcal{L}(x, \lambda, \mu) \iff \min \{\min_{x \in S} f(x), \infin \} \iff \min_{x \in S} f(x)$$

弱对偶定理

在前面我们已经得到了$d(\lambda, \mu) \leq v(P)$的结论，对于任意的$\lambda \geq 0, \mu$。

那么对于对偶问题，我们如果我们 denote 对偶问题最优值为$d^\star = v(D)$，那么我们可以得到如下结论：

$$\forall \lambda_i \geq 0, \quad d(\lambda, \mu) \leq v(D) \leq v(P) \leq f(x)$$

可以形象理解为鸡头和凤尾的关系。

Dual Gap

我们定义对偶问题和原问题的差距为 Dual Gap，即

$$\text{Dual Gap} = v(P) - v(D)$$

可以映射到几何空间中

强对偶定理

一个凸优化问题可以被涉及成不满足强对偶问题的情况，因此在凸优化问题外，还要满足一个条件。

假设（充分条件）：

1. (凸优化)X 是非空凸集，$f, g_i$ 是凸函数，$h_i$是仿射函数。（原问题是凸优化问题）
2. (Slater Condition)$\exist \hat{x} \in X, \quad \text{s.t.} \quad g_i(\hat{x}) < 0, h_i(\hat{x}) = 0$（有一个严格可行点），同时 0 是一个$h(x)$的内点。（这个条件最常用的是 Slater Condition）
   • Slater Condition：$\exist \hat{x} \in relint \mathcal{D}, \quad \text{s.t.} \quad g_i(\hat{x}) < 0, h_i(\hat{x}) = 0$

那么我们可以得到如下结论：

$$v(P) = v(D) \iff \min f(x) = \max d(\lambda, \mu)$$

证明略...

于是，对于强对偶问题，我们只需要分别对函数中的$\lambda, \mu$和原问题中的$x$进行偏导=0 即可。

对偶问题的性质

对偶函数是一个凹函数

$$dual(\lambda, \mu) = \min_{x \in X} \mathcal{L}(x, \lambda, \mu)_{\quad \lambda_i \geq 0}$$

其中若将$x$看作一个参数，那么$\mathcal{L}(x, \lambda, \mu)$是一个关于$\lambda, \mu$的仿射函数，因此对偶函数是一个凹函数。

所以$\max \text{concave} \iff \min \text{convex}$，对偶问题一定是一个凸优化问题。

KKT 条件与对偶问题

一个凸优化问题，只要是强对偶的，一定满足 KKT 条件（必要条件）。因此，我们可以通过求解对偶问题来求解原问题。

对偶问题的求解方法就是先构建拉格朗日函数，然后先对$x$求梯度，然后对$\lambda, \mu$求最大值。

对于凸优化

1. 如果$x^\star$满足 KKT 条件，那么$x^\star$是原问题的最优解，且对偶问题的最优解是 KKT 条件中的乘子。

2. 如果 Slater Condition 满足，那么原问题的最优解的 KKT 点乘子与对偶问题的最优解相等。