SVM，中文名叫支持向量机。

在深度学习出现以前，它是数据挖掘的宠儿；

SVM具有十分完整的数据理论证明，但同时理论也相当复杂。

 

初识SVM 

同其他分类算法一样，SVM分类也是寻找合适的决策边界，为方便理解，以二分类为例。

假设存在二分类样本，我们一定可以找到一个超平面将类别分开，但是通常会存在很多这样的超平面。

那取哪个呢？

 

直观感受

直观来看，应该取中间那条粗线，因为这条线对样本的“容忍性”最好，也就是说样本发生微小变化，不会影响分类结果，但是其他细线，如果样本发生微小变化，都会使得分类结果发生变化，也就是说粗线作为决策边界，其鲁棒性最好。

数学解释

从直观上看，取粗线为宜，但是这条粗线有很多的平行线，都可以实现分类，那么怎么取呢？

我们把这条粗线向两边平移，直至粗线和两边离他最近的样本重合，此时生成了2个新的超平面，记为 b11，b12，然后我们可以把之前的粗线移动到b11和b12的中间，确保粗线到b11和b12的距离相等

假设我们有两条粗线B1，B2，分别完成上述操作，

b11和b12之间的距离，叫做B1这条决策边界的边际（margin），也有叫“间隔”，记为d，当然也有把b11和B1的距离叫边际的，无所谓，不影响理论

显然拥有更大的边际的决策边界泛化能力更强

与b11和b12相交的样本点叫支持向量

数学建模

如何找到具有最大边际的决策边界呢？

假设这个超平面为 wx+b=0

超平面上取两点x1，x2，则

wx1+b=0

wx2+b=0

w(x1-x2)=0，故w与x1-x2垂直，即w为超平面的法向量。

超平面外任意点到平面的距离为

此时把支持向量带入上式，即可得到

d=2r，带有绝对值，不好处理。

 

解释

1. 上图把超平面的表达形式稍微变化了一下，而且进行了一系列的推导

2. 其实最开始也有解释，如果向两侧平移不同距离，那么应该先调整决策边界到两个新平面的中间，此时3个平面的wb都要做调整。

3. 上图是许多资料未讲明的地方

4. 上图是个变换过程，如果二分类的标签不是-1 1，也可以变换成-1 1

 

上图的结论是

假设是二分类，那么决策边界 wx+b=0 向两侧平移1，可得

等号成立的条件就是支持向量，此时 |wx+b|=1，那么

这就是边际d。

 

欲使边际最大，就是 maxd

注意，在训练过程中，我们使用的是全部样本，而不单是支持向量，而全部样本存在约束

综合表示就是 y(wx+b)>1,

那么目标为

 

最大转换为最小，方便计算

w加了平方，也是方便计算，不影响，w最小，w平方也就最小

 

以上就是SVM的基础理论。

 

拉格朗日乘子与对偶问题

其实上面的目标函数已经是个凸函数，可以用梯度下降等优化算法来求解，但是SVM使用了另一种优化算法，即拉格朗日对偶函数，

这部分比较麻烦，如果你不是专门研究SVM，没必要太纠结这块，因为即使你弄明白了，过一段时间就会忘记。

 

核函数

上面讲到用超平面来划分样本，但现实中很多问题是线性不可分的，此时不存在可划分类别的超平面。

对于这样的问题，需要将样本从原始空间映射到一个更高维的空间，使得样本在新的特征空间线性可分。

如果原始空间有限，那么一定存在一个高维空间使得样本可分。

 

这种映射其实就是一个函数，我们称之为核函数。

常用的核函数有

　

一般情况下会先用高斯核试试，但经验告诉我们，文本一般使用线性核。

 

核函数的计算也是可以简化的

 

SVM 处理非线性

svm 本身是个线性模型，包括 核函数 也是映射到高维空间的线性模型，那 smv 如何解决非线性问题呢？比如下面的那张图

把约束条件稍微放宽一点， 就是允许有特例存在，

此处就是 允许 那些 只有一定概率 (wx+b<1) 为正的样本也被认为是正样本，从而把 决策边界 非线性的 绕过 边缘的几个特殊点；

我们可以稍微夸张一点，假设 ξ 取 无穷大，那么 1-ξ 就是无穷小，y(wx+b) 大于一个 无穷小的数，等于没约束，没有约束的情况下，决策边界自然想怎么画就怎么画咯，自然可以非线性；

 

软间隔与正则化

SVM总是在寻找超平面使得样本能够完全被分开，但是由于现实中数据杂质很多，完全分开很容易造成过拟合。

缓解这个问题的思路就是允许部分样本被错误划分，于是提出了“软间隔”的概念（相对有“硬间隔”的概念）

可以看到红色样本被错误划分

此时的红色样本实际为1（-1），预测为-1（1），已经不满足 y(wx+b)>1的约束条件，

那对应我们的目标函数怎么改呢？去掉约束吗？显然不能

在分类时，我们虽然容忍部分样本被错误划分，但是我们希望被错误划分的样本越少越好，也就是说我们希望大部分样本仍然满足约束条件。

目标函数可改为

C是个>0的常数，也就是正则项系数，这里叫容忍系数

l0/1是“0/1损失函数”，就是上面的 ξ

当样本被错误分类时，y(wx+b)<0，y(wx+b)-1<0，l0/1=1，

当样本被正确分类时，l0/1=0

要使目标函数最小，就要使后面那部分最小，然而当样本被错误划分时，后面为1，如果C很大，那么后面那部分就很大，显然不符合我们的目标，所以需要1尽可能少，也就是错误划分尽可能少。

当C无穷大时，就是不能错误划分，后面那部分是0，目标函数最小，也就是“硬间隔”。

所以C越大，模型越“精确”。

 

由于l0/1函数非凸，非连续，数学性质不太好，所以要用其他函数来替代它，称为“替代损失”

三种常用的替代损失函数

 

总结

SVM的理论十分复杂，上面只是介绍了冰山一角，有助于你在实际项目中完成调参工作。

 

SVM 可以解决 高维问题、非线性问题；

优点：

1. 能够解决小样本问题；

2. 相比于 神经网络，SVM考虑的是全局，全部样本，结果是全局最优；而 神经网络 可能陷入局部最优，因为 NN 是 batch 样本的学习，每次只学一点点；

3. 对异常值不敏感；　　【参考 我的博客】

缺点：

1. 核函数计算复杂；

2. 在处理非线性问题时，选择合适的核函数很重要，缺乏通用的解决方案；

 

 

 

参考资料：

周志华 《机器学习》