机器学习技法(2)--Dual Support Vector Machine
本节课主要讲述对偶的SVM。
上一节课讲了如何用二次规划的技法解决低维度的SVM的问题，那么当我们把维度升高甚至是无限大的维度的时候，原本的二次规划问题解起来代价太大，这样的SVM又该怎么解呢？
右图的SVM是左图的SVM的对偶形式。
在之前介绍正则化的时候，我们引入了拉格朗日乘子去解决一个有条件的最佳化问题，方法就是将这个限定条件融合进我们要求解的方程式中。
同样地，在解决对偶SVM的时候也将要会用到这样的方法。在这里，拉格朗日乘子会被当成一个变量，将问题转换成优化带有拉格朗日乘子的方程式。
首先，把有限定条件的最优化问题简化，也就是把这个限定条件去掉（融合进方程）。
重新定义一个Lagrange function ς(b,w,σ)，这个函数是由原函数(objective)加上原来的限定条件(constraint)组成的。
通过拉格朗日乘子的变换，可以将Lagrange function融合进SVM的最佳化问题中，就是下图的式子：
现在是证明通过变换的最佳化问题和之前有限制条件的问题的本质是没有差别的：
现在设想有一组固定的b和w的组合的情况下，通过调节α进行最大化，然后更换下一组的b和w，再次调节α找最大值，每一组b和w都有一个最大值的结果，最后在这些结果里找一个最小的。
如果我们b和w不满足之前的限定条件，那么这一组b和w的最大值一定是无限大的；
如果b和w满足限定条件，那么这一组的最大值就是objective。
然后将无限大的选项和objective的选项放在一起做一个最小化的优化。
这样的过程正好就是之前解有限制条件的最佳化问题。
具体来讲：
因为做了一个最佳化的问题，所以左边的式子一定比右边的式子要大。即便是对右边的式子做一个最大化的动作，不等式还是满足的：
这样一来，最小化和最大化的步骤就被交换了，这样的问题叫做拉格朗日对偶问题。
那么这样变换的意义是什么呢？
弱对偶关系不好解，强对偶关系更容易求解。因为SVM满足那三个绿色的强对偶关系的要求，所以上面的式子的不等号其实是可以变成等号的。
换句话说，我们要找一组(a,b,w)，这组解既是左边的最佳解，又是右边的最佳解。
下面是求解过程：
这个式子肯定是要先简化一下的：
大括号里面的部分是没有条件的最佳化问题，这样的问题用先对b做偏微分就可以解出来。解出来之后得到了一个新的条件，用来帮助我们解决下面的问题。
加入了新的条件之后，b就可以被去掉了，去掉b之后：
既然b去掉了，我们对wi做偏微分的方法解决大括号里面的式子：
于是我们又得到了一个新的条件，再一次，更新一下式子，连w也没有了，b和w都没有了，min也就跟着消失了：
新的式子，多了一些条件，大括号内部的东西被极大地简化了，现在就是针对α进行最大化了：
KKT最优化理论：
α和b，w会满足一些关系，这些关系就叫做KKT conditions：
如果α，b和w是primal-dual optimal的话（即使左边的最佳解，也是右边的最佳解），他们也会同时满足以下条件：
primal-inner optimal要满足comlimentary slackness。
总而言之，我们就可以通过最佳化α来求解b和w。所以，重新整理以下式子，顺便把最大化的问题通过加一个负号，变成我们喜欢的求解最小化的问题：
于是又可以用QP程序来求解了！下图展示了QP程序的一一对照关系：
但是Q矩阵貌似很大的样子：
如果直接把Q矩阵放进QP程序中，解起来是会很耗费计算量的。在实际求解过程中，要用特别为SVM设计的二次规划程序来求解。
当我们用QP解出来一个最佳化的α之后，我们还得用KKT Condition把最佳化的α换回到最佳的b和w：
所以已知α：
最好的w用上面的w=∑αnynzn很容易就能解出来；
最好的b根据complementary slackness求解，因为之前已经限定了α>0了，所以与它相乘的另一个式子就一定是0。而最大的b就是margin largest的点，所以α>0就是边界点。
把α>0得出来的点叫做支持向量。有些点在边界上但是不满足α>0也不叫支持向量。
在计算w和b的时候，由于α=0算进去没有任何意义，所以干脆去掉，只算α>0时的w和b，也就是support vector的w和b。所以也印证了之前的理论：SVM只取决于边界上的点，其他的点对SVM没什么用处。
对比一下SVM和PLA有很多相似之处：
w可以被看做是输入数据的线性组合，而SVM是SV的唯一的线性组合
目前为止我们知道了两种形式的SVM：
最终的目的都是：
当variables变更大的时候，SVM该怎么解呢？下一节课的Kernel将会讲到。
