ML-对偶(Duality)问题 KKT 条件
Primal => Dual
现实中我们遇到的原优化问题, 写为标准型的话是这样的.
\(min _w f(w) \\ s.t. \\ g_i(w) <=0 \\ h_i(w) = 0\)
即要求的是在w满足约束条件下, 且使得f(w)取得最小值的 w 的值.
那我们通常的做法是通过引入拉格朗日函数:
\(L(w, \alpha, \beta) = f(w) + \sum _{i=1}^{k} \alpha_i g_i(w) + \sum _{i=1}^{t} \beta_i h_i(w)\)
其中\(\alpha, \beta\) 都大于等于0, 称为拉格朗日算子. 至于为什么能这样做, 参考"对偶问题初识"的笔记里我有推导, 更详尽的可以翻翻高数, 关于带约束条件下求函数极值的部分, 分别从几何和分析的两个角度有推导(核心就是偏导数,梯度向量(法向量)平行), 这里就过了,不想牵扯太多.
现在来考虑一个max 的函数:
\(\theta_p(w) = max _{\alpha, \beta} L(w, \alpha, \beta)\) 即针对 \(\alpha, \beta\)要对L(w) 取最大.
对于给定的w, 如果对于原问题 f(w)中没有对w进行约束, 则可得出\(\theta_p(w)\)的是无穷大的.
\(\theta_p(w) = [f(w) + \sum _{i=1}^{k} \alpha_i g_i(w) + \sum _{i=1}^{t} \beta_i h_i(w)] = \infty\)
如过 w 满足primal 的约束, 则\(\theta_p(w) = f(w)\), 这里的"=",应该表示"最优化问题等价"不是数值上等于,感觉. 这里有一点绕, 其实想表达的是这样的思想:
欲对关于\(w,\alpha, \beta\)的函数\(L(w,\alpha, \beta) 取min\)时的优化问题, 转为先对 \(\alpha, \beta\) 优化取max, 再优化 w
用数学的形式来表达这样的思想即:
\(min_w \ [\theta_p (w)] =min_w \ [max_{\alpha, \beta} \ L(w, \alpha, \beta)]\)
再定义: \(\theta_D(\alpha, \beta) = min_w \ L(w, \alpha, \beta)\)
- \(\theta _p(w)\) 是针对 \(\alpha, \beta\) 的max 最优化
- \(\theta_D(\alpha, \beta)\) 是针对 w 的min 最优化
也就是将dual 的问题可定义为:
\(max_{\alpha, \beta} \ [\theta_D(\alpha, \beta)] = max_{\alpha, \beta \ min_w \ [L(w, \alpha, \beta)]}\)
对于原始及其对偶问题, 我们假设
-
p* 为primal 问题 \(min_w \ \theta_p(w)\) 的最优解
-
d* 为其 dual 问题 \(max_{\alpha, \beta} \ \theta_D(\alpha, \beta)\) 的最优解
必然有:
$p^* = min_w [max_{\alpha, \beta} \ L(w, \alpha, \beta)] >= max_{\alpha, \beta} \ [min_w \ L(w, \alpha, \beta)]= d* $
关于 p* >= d* 在"对偶问题初识"的笔记中有过证明, 根据约束条件及定义证明的
有一种这样的感觉: 对一个多元函数有: "min max" >= "max min", 多个参数哈.
KKT
关于primal 和 dual 的一个最为重要的结论, 莫过于p* >= d* (用约束定义证明)
\(minmize \ f_0(x) \\ s.t. \\ f_i(x) <=0, i=1,2,..m \\ h_j(x) = 0, j = 1,2...p\)
在凸优化及对偶的初识中, 我们知道, 如果 p = d*, 则称为强对偶, 当函数为convex, 一般会成立. 同样, 如果已经函数是convex. 如果满足: \(\exists \ x', f_i(x') <0, h_j(x')=0\) (称为slater's condition) 则可判定该convex是强对偶*的哦.
我们进一步还推导了 complementary slackness 条件
即如果 p*=d * 必然要有 \(\lambda^* f_i(x) = 0\)
这里先引入结论, p*=d * ** 只有在KKT条件下才会满足**
KKT
- 是以3个科学家名字命名的: Karush-Kuhn-Tucke
- 广义化的拉格朗日数数乘的扩展
SVM算是KKT的一个最典型的应用了. 假设 f, g 都是convex函数\(f(w) = w^Tw\)的约束条件, 满足\(h_i(w), g_i(w)\) 都是 \(a_i^Tw+b\) 的线性形式, 同时假设存在w使得\(g_i(w)<=0 恒成立\). 则一定存在\(a_i^*, \beta^*, w^*\) 满足Karush-Kuhn-Tucker(KKT)条件,而 [ \(a_i^*, \beta^*, w^*\)] 也正好是 **p*=d ***的解, KKT条件即:
\(\frac {\partial } {\partial w_i} L(w^*,a_i^*, \beta^*)= 0\)
\(\frac {\partial } {\partial \beta_i} L(w^*, a_i^*, \beta^*)= 0\)
\(\alpha_i^*g_i(w^*) = 0\) (很关键的 complementary 条件哦, 已通过定义证明)
\(g_i(w^*)<=0\)
\(a^* >= 0\)
why KKT?
不难发现在很多问题求解, 我们大多能转为dual的问题, 然而如果不能满足KKT条件, dual的问题可能不能简化primal问题的求解, KKT我自己平时也基本不会用到, 不过在SVM中却被巧妙地用到了, 就是有一条关键性质:
\(\alpha_i^*g_i(w^*) = 0\)
使得SVM在求解参数的时候, 简化了大量的运算量, 从而找到那些支持向量就搞定了, 其他地方, 欧文感觉也没太用到, 不过运筹学方面,应该会有涉及一点, 我也不管, 就像理解一波KKT和推导SMV, 装逼一波, 然后应用上做一个自信的调参侠,仅此而已, 下一波就推导SVM.
