支持向量机(SVM)之硬阈值

支持向量机 ( support vector machine, SVM ) 是使用超平面来对给定的 p 维向量进行分类的非概率二元线性分类器。

一、超平面 ( hyperplane )

在一个p维的输入空间，超平面就是 \(p-1\) 维的子空间。比如：在一个二维输入的空间，超平面就是一维，也就是直线。用公式表示如下：

\[b + w_{1}x_{11} + w_{2}x_{12}=0 \]

在一个三维的输入空间，超平面就是二维，也就是一个平面，公式表示如下：

\[b + w_{1}x_{11} + w_{2}x_{12} + w_{3}x_{13}=0 \]

当输入维度 \(p ＞ 3\) 时，很难直观地理解超平面，但是可以简单地记为：超平面将输入空间分为两个部分，因此超平面最终的数学表达式为：

\[b + w_{1}x_{11} + w_{2}x_{12} +...+ w_{p}x_{1p} = 0 \]

其中，\(\alpha_{i}\) 表示超平面的参数。因此，超平面将一个p维的空间分成两个部分，考虑一个 \(p\) 维度的输入实例 \(x = (x_{1}, x_{2},..., x_{p})\)，当该实例在超平面上时，有：

\[b + w_{1}x_{11} + w_{2}x_{12} +...+ w_{p}x_{1p} = 0 \]

当其不在超平面上时，必然会存在：

\[b + w_{1}x_{11} + w_{2}x_{12} +...+ w_{p}x_{1p} > 0 \]

或者：

\[b + w_{1}x_{11} + w_{2}x_{12} +...+ w_{p}x_{1p} < 0 \]

二、使用超平面进行二分类

考虑到一系列的输入 \(x = (x_{1}, x_{2},...,x_{n})\)，其中 \(x_{i} = (x_{i1}, x_{i2},...,x_{ip})^{T}\) ，那么对应的标签 应该属于不同的类，这里用\((1, -1)\) 来表示，即：\(y = (y_{1}, y_{2},...,y_{n}) \in (-1, 1)\)。因此我们需要根据这些观测的训练数据 \(T = ( (x_{1},y_{1}), (x_{2},y_{2}),...,(x_{n},y_{n})\) 来学习到SVM的参数 \((\alpha_{1}, \alpha_{2},...,\alpha_{p})\)，使其能够对任意给定的 \(p\) 维输入 \(x_{n+1}\) 做出正确的判断。在训练过程中，假如在超平面一侧的为 \(-1\)，那么在另外一侧的就是 \(+1\)，于是训练的标准就可以表示为：

\[b + w_{1}x_{i1} + w_{2}x_{i2} +...+ w_{p}x_{ip} > 0,\quad if \quad y_{i}=1 \\ b + w_{1}x_{i1} + w_{2}x_{i2} +...+ w_{p}x_{ip} < 0,\quad if \quad y_{i}=-1 \]

因此，最终的训练标准可以统一为：

\[(b + w_{1}x_{i1} + w_{2}x_{i2} +...+ w_{p}x_{ip})y_{i}>0 \]

最终的超平面方程写成矩阵形式为：\(f(x) = w^{T}x + b\)

但是从理论上来讲通过旋转，平移等操作，满足这种条件的 SVM 分类器有无数个，如下图左边的部分所示，我们以二维输入为例，把蓝色的点看做同一类，而红色的点看做第二类，黑色的线就是学到的分类器，那么到底应该选哪一个呢？

第1个分类器太靠近蓝色的和粉色的点，稍微有点扰动很有可能造成错误的分类，鲁棒性较差

第2，3个分类器似乎看起来还可以，但是选取的标准又该怎么定义呢？

一个很自然而然的想法就是选择最大边缘超平面\((maximal \quad margin \quad hyperplane)\)。即：我们可以计算 \(p\) 维空间上所有的点到该超平面的距离，另其最小的距离（\(margin\)）最大。由于离超平面越近的点越容易分不清楚，最大化这些距离之后便能具有一定程度的鲁棒性，这样一来便能找到最优的超平面。因此通过这种策略，上图的最优超平面可以描述为下图：

从上图中我们看到三个训练观测值与最大边距超平面等距，并且沿着指示边距宽度的虚线排列。因此这三个观测值被称为支持向量。有趣的是，最大边缘超平面直接取决于支持向量，而不取决于其他观测值，任何其他观察的移动不会影响分离超平面，前提是观察的移动不会导致它跨越 \(margin\)。

三、最大间隔阈值（\(maximum\quad margin\)）表示

回忆高中数学的相关内容，对于平面 \(\Phi:Ax+By+Cz+D=0\)，则其法向量为 \([A, B, C]\)，空间内任意一点 \((x,y,z)\) 到该平面的距离为：

\[distance = \dfrac{|Ax_{0}+By_{0}+Cz_{0}+D|}{\sqrt {A^{2}+B^{2}+C^{2}}} \]

那么同理，在 \(p\) 维空间内，\(p-1\) 维超平面表示为：\(\Phi: w^{T}x = 0\)，则其法向量为 \(w^{T}\)，空间内任意一点 \(x_{i}^{T} = (x_{i1},x_{i2},...,x_{ip})\) 到该超平面的距离为：

\[distance = \dfrac{|w^{T}x_{i}+b|}{w^{2}} = \dfrac{|w^{T}x_{i}+b|}{||w||} \]

加入超平面能够实现正确的分类，那么设支持向量到超平面的距离为 \(\beta\)，我们可以得到分类的值为：

\[(b + w_{1}x_{i1} + w_{2}x_{i2} +...+ w_{p}x_{ip})y_{i}>\beta \]

即：\(w^{T}x > \beta\)，通过观察发现，缩放 \(w\) 的值并不会影响超平面的位置，因此不管 \(\beta\) 取任何值，最后都能通过 \(w'=w/\beta,\quad b'=b/\beta\) 将结果变为：\(w^{T}x+b > 1\)，因此支持向量之间的距离就变成了： \(2/||w||\)， 所以最后 SVM 的模型就变成了：

\[\mathop{argmax} \limits_{w} \dfrac{2}{||w||}\quad \quad s.t.\quad y_{i}(w^{T}x_{i}+b)>1,\quad x = 1, 2,...,m \]

等价于：

\[\mathop{argmin} \limits_{w} \dfrac{1}{2}||w||^{2}\quad s.t.\quad y_{i}(w^{T}x_{i}+b)>1,\quad x = 1,2,...,m \]

即：将超平面左右平移1个单位得到超平面 \(\Phi_{1}，\Phi_{2}\)，找出所有为 +1 类的点全部落在 \(\Phi_{1}\) 左侧，所有为 -1 类的点全部落在 \(\Phi_{2}\) 右侧，并且同时满足超平面的所有参数 \(w\) 的平方和最小的超平面。

四、对偶问题与KKT条件

求解带约束的不等式，根据拉格朗日乘数法将式 \((13)\) 改写成无约束不等式，得到：

\[L(w,b,\lambda) = \dfrac{1}{2}||w||^{2}+\sum_{i=1}^{m}\lambda_{i}(1-y_{i}(w^{T}x_{i}+b)) \]

于是我们对 \(L\) 求偏导：

\[\dfrac{\partial{L(w,b,\lambda)}}{\partial w} = w-\sum_{i=1}^{m}\lambda_{i}y_{i}x_{i}=0\\ \dfrac{\partial{L(w,b,\lambda)}}{\partial b} = \sum_{i=1}^{m}\lambda_{i}y_{i} = 0 \]

将得到的 \(w = \sum_{i=1}^{m}\lambda_{i}y_{i}x_{i},\quad \sum_{i=1}^{m}\lambda_{i}y_{i} = 0\) 代入式 \((14)\) 得到：

\[L(w,b,\lambda) = \dfrac{1}{2}(\sum_{i=1}^{m}\lambda_{i}y_{i}x_{i})^{T}\sum_{j=1}^{m}\lambda_{j}y_{j}x_{j}+\sum_{i=1}^{m}\lambda_{i} - \sum_{i=1}^{m}\lambda_{i}y_{i}(w^{T}x_{i})\\ =\dfrac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\lambda_{i}y_{i}\lambda_{j}y_{j}x_{i}^{T}x_{j}+\sum_{i=1}^{m}\lambda_{i} - \sum_{i=1}^{m}\sum_{j=1}^{m}\lambda_{i}y_{i}\lambda_{j}y_{j}x_{i}^{T}x_{j}\\ =\sum_{i=1}^{m}\lambda_{i} - \dfrac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\lambda_{i}y_{i}\lambda_{j}y_{j}x_{i}^{T}x_{j} \]

即最后式子 \((14)\) 的对偶问题可以写成：

\[\mathop{argmax}\limits_{\lambda}\sum_{i=1}^{m}\lambda_{i} - \dfrac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\lambda_{i}y_{i}\lambda_{j}y_{j}x_{i}^{T}x_{j}, \quad s.t. \quad \sum_{i=1}^{m}\lambda_{i}y_{i} = 0 \]

最后通过求出 \(\lambda\) ，带入到公式 \((15)\) 中就可以求出 \(w\) ，进而能求出 \(b\)。

在上述将原问题转换为对偶问题的过程中，原问题需要满足 \(KKT\) 条件，即：

\[\begin{equation} \left\{ \begin{array}{lr} \lambda_{i}>=0; & \\ y_{i}f(x_{i})-1 >=0; & \\ \lambda_{i}(y_{i}f(x_{i})-1) = 0 ; \end{array} \right. \end{equation} \]

这个条件不就是同济第七版《高等数学》关于拉格朗日乘数法的应用前提吗？有兴趣的朋友可以自己查阅一下，毕竟已经不学数学好多年了，若有疏漏还请斧正。

这样就出现一个非常有趣的现象，即：

若 \(\lambda_{i}=0\)，则 \(y_{i}f(x_{i}) >= 1\)

若 \(\lambda_{i}>0\)，则 \(y_{i}f(x_{i}) = 1\)，所对应的样本刚好落在最大边界上 ( 即支持向量 )，因此训练完成后大部分的训练样本都不需要保留，最终模型仅仅与支持向量有关。

上述主要分析了当训练样本是线性可分的情况下，SVM的一些理论与求解过程，即硬阈值的SVM。当训练样本不是线性可分的情况下需要设计软阈值以及核函数的SVM，限于篇幅原因，将在后面的文章中进行阐述。