支持向量机（2）

三、线性支持向量机

线性可分支持向量机只能在线性可分的数据集上进行训练，但是现实当中的数据集并不是完全纯净的，可能有一些噪声数据在里面，如何应对这种情况，线性支持向量机应运而生。

在线性支持向量机当中，我们对于每一个样本点设置了一个松弛系数，来对那些奇异点进行松弛，对于奇异点来说一定无法满足目标函数了，也就是无法达到大于等于1的要求，在这种情况下，我们将这个松弛系数加上去，是他满足大于等于1的约束条件。对于每一个松弛变量，相当于增加了模型的复杂度，我们对于每一个松弛变量都增加一个代价$\xi_{i},i=1,2,3,...,N$

1、根据上面的定义，实际上原始问题已经诞生了

$argmin_{w,b,\xi}\frac{1}{2}|w|^{2}+C\sum_{i=1}^{N}\xi_{i}$

$s.t. y_{i}*(w*x_{i}+b) \ge 1-\xi_{i}$

$\xi_{i} \ge 0,i=1,2,3,...,N$

 

2、对偶问题

通过线性可分SVM类似的推导方法，首先构造拉格朗日函数，然后求导，然后倒入化简，我们可以得到原始问题的对偶形式

$argmin_{\alpha}\frac{1}{2}|w|^{2}-\sum_{i=1}^{N}\alpha_{i}$

$s.t. \sum_{i=1}^{N}\alpha_{i}*y_{i}=0$

$0 \le alpha_{i} \ge C,i=1,2,3,...,N$

 

如何有对偶问题还原原始问题，还原方法是和线性可分支持向量机是一样的。

 

四、非线性SVM

主要是使用了一个核技巧

这里的核技巧作用域两种空间之间映射之后的运算的结构，而不关注映射的方式

$K(x,y)=\phi(x) \bullet \phi(y)$

这里的$\bullet$是点乘的意思

 

常用的核函数有Polynomial核，和高斯核（rbf）

 

参考

[1]  统计学习方法，李航