拉格朗日对偶性
在约束优化问题中，常常用拉格朗日对偶性来将原始问题转为对偶问题，通过解对偶问题的解来得到原始问题的解。
1.为什么要利用对偶？
首先要明确，对偶问题的解不一定直接等于原问题的解（弱对偶），但是对偶问题有两点性质：
- 无论原始问题是否是凸的，对偶问题都是凸优化问题
- 当Lagrange对偶问题的强对偶性成立时，可以利用求解对偶问题来求解原问题；而原问题是凸优化问题时，强对偶性往往成立；弱对偶性永远成立，可以为原问题提供下界。
（1）原始问题
优化问题：
$$\begin{align*} \min_{\bf x} & \hspace{3ex} f({\bf x}) \\ {\rm s.t.} & \hspace{3ex} g_i({\bf x}) \le 0, \ {\rm for\ }i =1,2,\ldots, m \\ & \hspace{3ex} h_j({\bf x}) = 0, \ {\rm for\ }j =1,2,\ldots, n \end{align*}$$
拉格朗日函数：
$$L(x, \alpha , \beta ) = f(x) + \sum _{i=1}^q \alpha_i g_i(x) + \sum _{j=q+1}^m \beta_j h_j(x)$$
则原问题等价于：
$$\begin{align} \min_{{\bf x}} \max_{ {\boldsymbol \alpha}, {\boldsymbol \beta}} & \hspace{3ex} \mathcal{L({\bf x},{\boldsymbol \alpha}, {\boldsymbol \beta})} \\ {\rm s.t.} & \hspace{3ex} \alpha_i \ge 0 \end{align}\tag{2-1}$$
推导：
$$\begin{align} &\min_{{\bf x}} \max_{ {\boldsymbol \alpha}, {\boldsymbol \beta}} \mathcal{L({\bf x},{\boldsymbol \alpha}, {\boldsymbol \beta})} \\ = & \min_{{\bf x}} \left( f(x) + \max_{ {\boldsymbol \alpha}, {\boldsymbol \beta}} \left( \sum_{i=1}^m\alpha_ig_i({\bf x}) + \sum_{j=1}^n\beta_jh_j({\bf x})\right) \right) \\=& \min_{{\bf x}} \left( f(x) +\begin{cases} 0& \text{u满足约束条件}\\ \infty& \text{otherwise} \end{cases} \right) \end{align}$$
- 当g不满足约束条件的时候$g_i(x) \gt 0$，我们内层优化取max，因此 $\alpha_i = \infty \Rightarrow \alpha_ig_i({\bf x}) = \infty$
- 当g满足约束条件的时候$g_i(x) \le 0$，我们内层优化取max，因此 $\alpha_i =0 \Rightarrow \alpha_ig_i({\bf x}) = 0$
- 当h不满足约束条件的时候$h_j(x) \ne0$，同理可以取 $\beta_j= \rm sign(h_j({\bf x})) \infty \Rightarrow \beta_jh_j({\bf x}) = \infty$
- 当h满足约束条件的时候$h_j(x) =0$，同理可以取 $\beta_jh_j({\bf x}) =0$
为了使2-1达到优值，需要满足如下条件（KKT条件）：
- 主问题可行： $g_i({\bf x}) \le 0, h_i({\bf x}) = 0$
- 对偶问题可行： $\alpha_i \ge 0$
- 互补松弛: $\alpha_i g_i({\bf x}) = 0$
主问题可行是上面推导的结果，对偶问题可行为2-1的约束项；互补松弛是主问题和对偶问题都可行的条件下的最大值。
原始问题求得的解为$g^{*}$
（2）对偶问题
$$\begin{align*} \max_{ {\boldsymbol \alpha}, {\boldsymbol \beta}}\min_{{\bf x}} & \hspace{3ex} \mathcal{L({\bf x},{\boldsymbol \alpha}, {\boldsymbol \beta})} \\ {\rm s.t.} & \hspace{3ex} \alpha_i \ge 0 \end{align*}\tag{2-2}$$
对偶问题是原问题的下界，即：
$$\max_{ {\boldsymbol \alpha}, {\boldsymbol \beta}}\min_{{\bf x}} \mathcal{L({\bf x},{\boldsymbol \alpha}, {\boldsymbol \beta})} \le \min_{{\bf x}} \max_{ {\boldsymbol \alpha}, {\boldsymbol \beta}} \mathcal{L({\bf x},{\boldsymbol \alpha}, {\boldsymbol \beta})}$$
因为下式总是成立：
$$ \min_{{\bf x}} \mathcal{L({\bf x},{\boldsymbol \alpha}, {\boldsymbol \beta})} \le\min_{{\bf x}} \max_{ {\boldsymbol \alpha}, {\boldsymbol \beta}} \mathcal{L({\bf x},{\boldsymbol \alpha}, {\boldsymbol \beta})} $$
对偶问题求得的解为$d^{*}$
对任意可能的值求极值，肯定不如直接求到的极值大。有句俗语叫“瘦死的骆驼比马大”说的就是这个道理。
- 弱对偶（$d^*<=g^*$），对于所有优化问题都成立，这个时候我们可以得到原始问题的一个下界。
- 强对偶（$d^*=g^*$），满足某些条件才成立，这时可以用解对偶问题替代原始问题。那么满足什么样的条件可以得到强对偶呢？（如果原问题是一个凸优化，并且不等式约束$g(x)$是严格可行的，即存在$x$对所有$i$有$g_i(x)<0$，那么强对偶成立。这里需要注意的是，这里的条件只是强对偶成立的一种情况，对于非凸的问题也有可能是强对偶。）
如果原问题是一个凸优化，并且不等式约束$g(x)$是严格可行的，即存在$x$对所有$i$有$gi(x)<0$，那么强对偶成立。这里需要注意的是，这里的条件只是强对偶成立的一种情况，对于非凸的问题也有可能是强对偶。强对偶成立时，将拉格朗日函数分别对原变量$x$和对偶变量$α$和$β$分别求导，令导数等于零（还需要满足KKT条件），即可求解对偶问题的解，也就求得了原问题的解。
强对偶成立的条件：Slater条件
Slater定理：当Slater条件成立且原问题是凸优化问题时，强对偶成立。
满足强对偶性的例子：
- 线性规划
- 最小二乘
- 最大熵问题
（3）KKT条件
当Lagrange对偶问题的强对偶性成立时，可以利用求解对偶问题来求解原问题；而原问题是凸优化问题时，强对偶性往往成立。否则，可以利用求解对偶问题求出原问题最优值的下界。
（鞍点就满足KKT，但鞍点就不是最优解））
当原问题只有等式约束而没有不等式约束时，KKT条件即为拉格朗日乘数法。
（4）KKT与凸优化的关系
KKT主要是针对带约束的可微分的优化问题，凸优化研究的对象是目标函数为凸函数，约束为凸集的优化问题。因此这两者研究的对象，有交集，也各有不同。
凸优化：
- 第一类问题为两类问题的交集即带约束的可微分凸优化问题，这类问题目前已经被很好的解决了，它同时具备两类问题的性质，凸优化和可微分性，让原来KKT从局部最优解的必要条件变为全局最优解的充要条件。
- 第二类问题是凸优化但是不可微分，这类问题也较为常见，在拉格朗日松弛算法中，对偶问题一般都是不可微分的凸优化问题，因为不可微分，传统的基于梯度的方法就不适用了，一般采用次梯度的方法，主要难点在于次梯度如何确定，由于次梯度不唯一，如何确定一个简单有效的次梯度也是一个问题。
- 第三类问题是可微分的但不是凸优化的，这类问题也很多，一般这类问题都可以采用基于梯度的算法来求解，例如对神经网络的训练多数就属于这类问题。采用梯度法仅仅能保证收敛到局部最优的必要条件而已。因此该类问题的受困于陷入鞍点和全局最优的寻找是很困难的。
非凸优化：非凸且不可微分
参考文献：
【1】『我爱机器学习』深入理解SVM(一) 原始问题和对偶问题
【2】优化问题
