【Dual Support Vector Machine】林轩田机器学习技法

这节课内容介绍了SVM的核心。

首先,既然SVM都可以转化为二次规划问题了,为啥还有有Dual啥的呢?原因如下:

如果x进行non-linear transform后,二次规划算法需要面对的是d`+1维度的N个变量,以及N个约束

如果d`的维度超大,那么二次规划解起来的代价就太大了。因此,SVM的精髓就在于做了如下的问题转化:

不需要问太深奥的数学,知道为啥要dual的motivation就可以了。

这里再次搬出前人的智慧:Lagrange Multipliers

但是这里跟ridge regression不太一样:一个约束条件配一个拉格朗日乘子;每个乘子是未知的,需要求解的变量

如上图,首先把原问题的N个不等式约束条件,通过拉格朗日乘子给弄到等式中。

问题困惑:原来的目标函数是min (b,W) 0.5W'W,而且还是min;为啥用Lagrange Fucntion转换后,还搞出来一个max呢?背后的原因是啥呢?

我的理解:这里max的目的是把违背约束条件的(b,W)的值无限放大

  (1)违背约束条件:alpha后面的值是正数,那么max必然是alpha取无限大的情况;这样经过外层的min操作,必然过滤掉了

  (2)符合约束条件:alpha后面的值是非正,那么max必然是alpha取零的情况;这样min里面剩下的项就是原目标函数了;

综合(1)(2)来看,拉格朗日乘子起到这样的作用:

    a. 把不等式约束给弄到等式中

    b. 把违背约束的项目给弄到无限大

    c. 如果符合约束条件,等式中的拉格朗日项目就没有了;这样剩下的自然就是原来需要min的目标函数

综合b,c来看,拉格朗日乘子用一种特殊的方式把违背约束条件的(b,W)给排除了,把符合约束条件的(b,W)给留在了候选集合中。

这样转换后的问题就跟原问题等价了;约束条件藏在了max里面。

接下需要进一步转化:

交换min和max的顺序:

(1)原来的max里面(b,W)是受到约束条件限制的

(2)交换min和max后,(b,W)可以不受到约束条件限制

转换后的问题,叫Lagrange dual problem

光大于等于还不行,最好能等于:

要想是强对偶问题,QP需要满足:

(1)原问题是convex的

(2)原问题是feasible的(即线性可分)

(3)约束条件是线性的

于是,就可以放心大胆地取等号了。

分别对b和W求导,获得梯度为零的条件。

通过梯度为0的条件,把min里的b和W都替换掉了;由于min的变量是(b,W),但现在变量只剩下alpha了,所以min也可以直接去掉了。

这里涉及到一些矩阵微分的内容(http://blog.sciencenet.cn/blog-849193-653656.html

关于b的梯度求解很直观。

关于W的梯度求解,可以转化成矩阵向量表示。

(1)二次项求导的结果就是W

(2)一次项求导可以做如下的变换,以及最终的表达式如下。

这样W就完全用y,z,alpha表示出来了;另外,从这可以看出来W其实是输入向量Z的线性组合,每个Zn前面的系数就是alphan yn

以上一系列转化的背后是KKT条件。

有了KKT条件,只要求出来最优的alpha就相当于间接求出来了(b,W).

KKT里面后两个条件比较重要:

(1)dual problem的inner部分要满足梯度为0(即取得最优化的值)

(2)原问题取得最优化值的同时,其中的拉格朗日乘子必须disappear

最终,转化为对偶问题后的最优化问题,就保持了N个变量(alpha),N+1个约束条件。对比原问题,变量的维度控制在了1(原来的维度是d`+1)。

直接套用QP Solver即可

目标函数:

(1)二次项系数qn,m = ynymZn'Zm

(2)一次项系数-IN

约束条件:

(1)等于0的情况可以用“大于等于∩小于等于”来代替

(2)对于alphan大于等0的情况,用n那个单位方向向量做系数([1,0.....] [0,1,0,....], .... , [0,....,0,1])

这里提到了一个东西:输入变量d`+1维度的代价哪去了?其实,转化到了qn,m中去了。

其实到这里,还是对为何要转成dual problem不十分确定,只能说是计算的代价发生了变化。

转化后约束条件的系数变得简单了,但是样本维度N一般都会大于输入维度d'很多啊,相当于目标函数复杂了一些。这样计算代价真的降低了么?

估计要想明白这个问题,还得看看QP问题是怎么求解的,后续再看吧。

总之,这里的Q矩阵依然是个N×N的矩阵,如果N很大占用的内存非常多,因此需要把特殊的求解工具才能搞定。

前面一大堆推导,后面的结论就是:

(1)最后只有alpha大于0的点被成为支撑向量(SV)

(2)最终W由所有支撑向量决定

(3)任意一个支撑向量都可以算出来b

这里回顾了之前讲过线性分类模型:W都可以看成输入数据的线性组合;SVM之所以好,是因为W只用支撑向量的线性组合就可以表示了

这里留了一个问题:如果输入数据经过比较复杂的tranform了,还是比较难搞的,怎么能让算法摆脱d'的限制?

posted on 2015-07-03 22:33  承续缘  阅读(982)  评论(0编辑  收藏  举报

导航