SVM学习笔记2-拉格朗日对偶

下面我们抛开1中的问题。介绍拉格朗日对偶。这一篇中的东西都是一些结论，没有证明。

假设我们有这样的问题：$min_{w}$ $f(w)$，使得满足:(1)$g_{i}(w)\leq 0,1\leq i \leq k$,(2)$h_{i}(w)= 0,1\leq i \leq l$

我们定义$L(w,\alpha ,\beta )=f(w)+\sum_{i=1}^{k}\alpha_{i}g_{i}(w)+\sum_{i=1}^{l}\beta_{i}h_{i}(w)$，其中$\alpha,\beta$被称作拉格朗日因子

第一部分：

设$\theta _{p}(w)=max_{\alpha,\beta:\alpha\geq 0}L(w,\alpha ,\beta )$,可以证明当$\theta $满足问题描述中的两个条件时，我们有$\theta _{p}(w)=f(w)$,否则$\theta _{p}(w)=+oo$

然后我们定义$p^{*}=\underset{w}{min}\theta_{p}(w)=\underset{w}{min} \underset{\alpha,\beta:\alpha\geq 0}{max}L(w,\alpha,\beta)$,那么$p^{*}$就是原问题的解。

第二部分：

设$\theta_{D}(\alpha,\beta)=\underset{w}{min}L(w,\alpha,\beta)$

$d^{*}=\underset{\alpha,\beta:\alpha\geq 0}{max} \theta_{D}(\alpha,\beta)=\underset{\alpha,\beta:\alpha\geq 0}{max} \underset{w}{min}L(w,\alpha,\beta)$

 

总有$d^{*}\leq p^{*}$成立。当函数$g$和函数$f$是凸函数，$h$是线性函数时，等号成立。设取得等号成立时，各参数的值为$w^{*},\alpha^{*},\beta^{*}$,那么，有下面的式子成立：
（1）$\frac{\partial }{\partial w_{i}}L(w^{*},\alpha^{*},\beta^{*})=0,1\leq i \leq n$
（2）$\frac{\partial }{\partial \beta_{i}}L(w^{*},\alpha^{*},\beta^{*})=0,1\leq i \leq l$
（3）$\alpha^{*}g_{i}(w^{*})=0,1\leq i \leq k$
（4）$g_{i}(w^{*}) \leq 0,1\leq i \leq k$
（5）$\alpha^{*} \geq 0,1\leq i \leq k$