浅学支持向量机（含具体推导、核函数）

参考了西瓜书，《机器学习》周志华

背景

在超平面（比如三维立体，甚至更高维）上，找到一个分类面

$${\mathit{w}}^T\mathit{x}+b=0$$

看起来很陌生，其实直线方程和 $Ax+By+C=0$ 一个道理，只不过拓展到了高维，另外注意这里的 $\mathit{x}$ 是指一个高维变量

使得分类面上方都是正例（$y=+1$），下方都是反例（$y=-1$）

支持向量机

如果止步于此，就只是普通的线性模型罢了，而接下来引出支持向量最重要的特性——稀疏性

样本到分类面距离为

$$|r|=\frac{{\mathit{w}}^T\mathit{x}+b}{||\mathit{w}||}$$

其中，分母的符号是向量二范数，即向量的欧几里得距离，也就是向量取模，另外注意这里的 $\mathit{x}$ 是指一个样本

同直线方程一样，参数等比例放缩时，方程本质不变，即所代表的分类面不变，那么不妨让距离分类面最近的点 ${\mathit{x}}_p$ 的分母部分值最小（类似单位化，只不过我们平常的单位化都是把分母置为 $1$ ），即 ${\mathit{w}}^T{\mathit{x}}_p+b=\pm 1$，则有

$$y_i\cdot ({\mathit{w}}^T{\mathit{x}}_i+b)\ge 1$$

注意这里 ${\mathit{x}}_i$ 是指第 $i$ 个样本点，$y_i$ 是正反例的取值

显然，我们要让样本离分类面尽可能远，$|r|$ 尽可能大，那么分母就要尽可能小

则问题就变成了

$$\begin{array}{rl}\underset{\mathit{w},b}{min}& \frac{1}{2}||\mathit{w}|{|}^2\\ \text{s.t.}& y_i({\mathit{w}}^T{\mathit{x}}_i+b)\ge 1\end{array}$$

注意，系数 $\frac{1}{2}$ 是为了之后求导化简方便，选择平方是为了省去二范数的开根并且保证单调性不变（都是非负的）

显然，该问题是凸优化问题，可以用现成的凸二次规划算法解决，但是还有一种性能更优的算法，需要以此引出对偶问题

拉格朗日乘数法

与线性判别分析 LDA 类似，对约束下的凸优化问题，采用拉格朗日乘数法

首先化成目标函数取最小，约束条件小于等于 0 的一般形式，然后左边乘上拉格朗日乘子

$$\begin{array}{rl}L(\mathit{w},b;\mathit{\mu })& =\frac{1}{2}||\mathit{w}|{|}^2+\sum _{i=1}^m{\mu }_i\cdot g({\mathit{x}}_i)\\ & =\frac{1}{2}||\mathit{w}|{|}^2+\sum _{i=1}^m{\mu }_i(1-y_i({\mathit{w}}^T{\mathit{x}}_i+b))\end{array}$$

再次提醒，其中 ${\mathit{x}}_i$ 不是变量，是样本数据，是已知量，$\mathit{w},b$ 是待优化参数，$\mathit{\mu }$ 是拉格朗日乘子

仅此转化，问题还不等价，因为拉格朗日乘子法针对的是等式约束，而这里是不等式约束，还需要满足 KKT 条件：

$$\{\begin{array}{rl}& g({\mathit{x}}_i)\le 0\\ & {\mu }_i\ge 0\\ & {\mu }_i\cdot g({\mathit{x}}_i)=0\end{array}$$

最主要的就是第三个条件，要么 ${\mu }_i=0$，要么 $g({\mathit{x}}_i)=0$，前者即代表最优解不在等式约束上（即在 $g({\mathit{x}}_i)<0$ 内有最优解），后者表示最优解在等式约束上，即此时不等式约束取等了，此时的 ${\mathit{x}}_i$ 即为所谓支持向量

不难看出，这相当于我们找出了 ${\mu }_i$ 不等于 0 的项作为约束条件，去空间上找到 $\mathit{w},b$ 使得原函数取得最小值的解

这便是支持向量机最大的特点——稀疏性

偏导

接下来，将 $L(\mathit{w},b;\mathit{\mu })$ 分别对 $\mathit{w},b$ 求偏导得

$$\begin{array}{rl}L(\mathit{w},b;\mathit{\mu })& =\frac{1}{2}{\mathit{w}}^{T}I\mathit{w}+\sum _{i=1}^m({\mu }_i-{\mu }_i{y}_i{\mathit{x}}_i^T\mathit{w}-{\mu }_i{y}_{i}b)\\ \frac{\partial }{\partial \mathit{w}}L(\mathit{w},b;\mathit{\mu })& =I\mathit{w}-\sum _{i=1}^m{\mu }_i{y}_i{\mathit{x}}_i\\ & =\mathit{w}-\sum _{i=1}^m{\mu }_i{y}_i{\mathit{x}}_i\end{array}$$

注意这里 $I$ 表示单位阵，这里做了两个转换，一个是向量二范数的等价形式，展开计算一下就能理解，另一个是我自己看的比较舒服的，把变量放到最后的形式，求导利用了两个公式

$$\begin{array}{rl}\frac{\partial }{\partial \mathit{w}}{\mathit{w}}^T\mathit{x}=\frac{\partial }{\partial \mathit{w}}{\mathit{x}}^T\mathit{w}& =\mathit{x}\\ \frac{\partial }{\partial \mathit{w}}(\mathit{A}\mathit{w}+\mathit{u}{)}^T\mathit{B}(\mathit{A}\mathit{w}+\mathit{u})& =2\mathit{A}\mathit{B}(\mathit{A}\mathit{w}+\mathit{u})\end{array}$$

同理对 $b$ 求导（一维变量求导不过多赘述），令二者等于 0，得

$$\begin{array}{rl}\mathit{w}& =\sum _{i=1}^m{\mu }_i{y}_i{\mathit{x}}_i\\ 0& =\sum _{i=1}^m{\mu }_i{y}_i\end{array}$$

回代入原式得

$$\begin{array}{rl}L(\mathit{w},b;\mathit{\mu })& =\frac{1}{2}\sum _{i=1}^m{\mu }_i{y}_i{\mathit{x}}_i^T\sum _{j=1}^m{\mu }_j{y}_j{\mathit{x}}_j+\sum _{i=1}^m{\mu }_i-\sum _{i=1}^m{\mu }_i{y}_i{\mathit{x}}_i^T\sum _{j=1}^m{\mu }_j{y}_j{\mathit{x}}_j\\ & =\sum _{i=1}^m{\mu }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\mu }_i{\mu }_j{y}_i{y}_j{\mathit{x}}_i^T{\mathit{x}}_j\end{array}$$

对偶问题转化

$$\underset{{\mathit{w}}^{\ast },b^{\ast }}{inf}L({\mathit{w}}^{\ast },b^{\ast };\mathit{\mu })\le L({\mathit{w}}^{\ast },b^{\ast };\mathit{\mu })\le \frac{1}{2}||{\mathit{w}}^{\mathbf{\ast }}|{|}^2$$

inf 表示下确界 infimum，${\mathit{w}}^{\ast },b^{\ast }$ 表示，最后一个不等式放缩掉了约束项（必定小等于 0）

注意最左边对于 $\mathit{w},b$ 来说是与其无关的"常量"，而与 $\mathit{\mu }$ 有关的"变量"

可以理解为，对于一个二次函数，找到一条平行于 x-axis 的直线 y=b 不断向上移动，触碰到这个二次函数的最底部时，取得不等式的相等条件，即优化参数 $\mathit{\mu }$ 使得 $L(\mathit{\mu };{\mathit{w}}^{\ast },b^{\ast })$ 最大

$$\begin{array}{rl}\underset{\mathit{\mu }}{max}& L(\mathit{\mu };\mathit{w},b)=\sum _{i=1}^m{\mu }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\mu }_i{\mu }_j{y}_i{y}_j{\mathit{x}}_i^T{\mathit{x}}_j\\ \text{s.t.}& \sum _{i=1}^m{y}_i{\mu }_i=0\\ & {\mu }_i\ge 0\end{array}$$

解出 $\mathit{\mu }$ 后即可求出 $\mathit{w},b$，此时可以舍去 ${\mu }_i=0$ 的样本，很好地体现了 SVM 的稀疏性

注意 $b$ 的求解方法是，将 $\mathit{w}$ 代入方程 $y_i={\mathit{w}}^T+b$

但是解参数的过程中 $\mathit{\mu }$ 是正比于样本数的，直接用二次优化反而使得问题更加复杂，实际过程中一般使用 SMO 迭代优化

SMO

类似线性方程组求解，超越方程求解的迭代法，求取一个近似解

首先确定一个初值 $\mathit{\mu }$，然后取出一对待更新变量 ${\mu }_i,{\mu }_j$ ，原先的优化目标函数就具有如下形式

$$\begin{array}{r}f({\mu }_i,{\mu }_j)=P{\mu }_i+Q{\mu }_j+R{\mu }_i{\mu }_j+S\end{array}$$

由 $0=\sum _{i=1}^m{\mu }_i{y}_i$

$$y_i{\mu }_i+y_j{\mu }_j=-\sum _{k\ne i,k\ne j}{y}_k{\mu }_k$$

则原优化目标变成一个只与 ${\mu }_i$ 有关的二次优化问题，但是要注意 ${\mu }_i,{\mu }_j\ge 0$ 的约束，或者说定义域

直观来看，KKT条件违背的程度越大，则变量更新后可能导致的目标函数值减幅越大。于是，SMO 先选取违背 KKT 条件程度最大的变量，第二个变量应选择一个使目标函数值减小最快的变量，但由于比较各变量所对应的目标函数值减幅的复杂度过高，因此 SMO 采用了一个启发式：使选取的两变量所对应样本之间的间隔最大

此时，可解得 $\mathit{w}$，为了增强模型鲁棒性，$b$ 的一般取对每个支持向量解出的值的平均

核函数

为了将问题拓展到非线性空间，总是可以通过增加维数（当然可以不增加，甚至减少，比如 LDA）来将非线性分类问题映射到更高维的空间，使得问题在这个更高维度的空间线性可分，比如对异或问题 $x_1\oplus x_2$ 增加第三维度 $x_1{x}_2$

最终，其实就是把样本 $x_i$ 的 m 维数据拓展为 $\varphi (x_i)$ 的 n 维数据，分类面变为

$$\mathit{w}\varphi ({\mathit{x}}_i)+b=0$$

注意到，此时大部分公式基本无差，只是 ${\mathit{x}}_i$ 变为 $\varphi ({\mathit{x}}_i)$，但是有个关键地方

$$\begin{array}{r}L(\mathit{w},b;\mathit{\mu })=\sum _{i=1}^m{\mu }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\mu }_i{\mu }_j{y}_i{y}_j\varphi ({\mathit{x}}_i{)}^T\varphi ({\mathit{x}}_j)\end{array}$$

这里，我们记

$$\kappa ({\mathit{x}}_i,{\mathit{x}}_j)=\varphi ({\mathit{x}}_i{)}^T\varphi ({\mathit{x}}_j)$$

并称之为核函数，而对于每一对 $i,j$，都有一个运算结果（标量），把这些标量按下标放入矩阵，即得到核矩阵

显然，从物理意义上出发，两个参数是对称的，或者说可交换位置的，故核矩阵是对称的。以及，本身向量内积某种程度上反映了两个向量的相似程度，主对角线上元素显然是较大的。此外，核矩阵运算结果是半正定的。

事实上，对于一个半正定核矩阵，总能找到一个与之对应的 $\varphi$，换言之，任何一个核函数都隐式地定义了一个称为 Reproducing Kernel Hilbert Space 的特征空间

那么如何构造核函数？答案是比较困难，一般有几个现成的核函数，其中线性核（其实就是普通 SVM，没做任何变换）、高斯核最常用

那原来的 $\varphi (\mathit{x})$ 呢？注意我们这里只需要用到 $\varphi (\mathit{x}{)}^T\varphi (\mathit{y})=\kappa (\mathit{x},\mathit{y})$ 所以无所谓，只要 $\varphi (\mathit{x})$ 这个函数存在就行

软间隔

分类问题中，也有可能出现无法分类的情况（本身就存在一定的交叉地带），此时我们则需要引入软间隔概念

软间隔的核心思想就是：让不满足分类条件的（即分类错误的、在分隔带上的）样本所带来的代价尽可能小

对每个样本带来的代价，引入损失函数 $\ell (x)$ 松弛变量 ${\xi }_i$，其中 $C$ 是正则化系数

$$\begin{array}{rl}\underset{\mathit{w},b}{min}& \frac{1}{2}||\mathit{w}|{|}^2+C\sum _{i=1}^m\ell (y_i({\mathit{w}}^T{\mathit{x}}_i+b-1))\\ \text{s.t.}& y_i({\mathit{w}}^T{\mathit{x}}_i+b)\ge 1-{\xi }_i,i=1,2,3,\dots ,m\end{array}$$

其中损失函数 $\ell$ 常用 0/1 损失函数 与 hinge 损失函数

$${\ell }_{0/1}(z)=\{\begin{array}{rlr}& 1,& z<0\\ & 0,& z\ge 0\end{array},{\ell }_{hinge}(z)=max(0,-z)$$

注：这里的 hinge 函数与周志华老师书的 hinge 函数 ${\ell }_{hinge}(z)=max(0,1-z)$ 略有不同，如果直接代入，则会导致 $y_i({\mathit{w}}^T{\mathit{x}}_i+b-1)$ 小于 1 的情况也被考虑入损失，而事实上只能考虑到小于 0 的情况，这里应该是周志华老师书的记号没有表示清楚，原书的图大概也有点问题

那么接下来我们考虑 hinge 损失函数，则整个式子变为

$$\begin{array}{rl}\underset{\mathit{w},b}{min}& \frac{1}{2}||\mathit{w}|{|}^2+C\sum _{i=1}^m{\xi }_i\\ \text{s.t.}& y_i({\mathit{w}}^T{\mathit{x}}_i+b)\ge 1-{\xi }_i\\ & \xi \ge 0,i=1,2,3,\dots ,m\end{array}$$

同样地，使用拉格朗日乘子法

$$\begin{array}{rl}L(\mathit{w},b,\mathit{\xi };\mathit{\mu },\mathit{\gamma })& =\frac{1}{2}||\mathit{w}|{|}^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\mu }_i\cdot (1-{\xi }_i-y_i({\mathit{w}}^T{\mathit{x}}_i+b))-\sum _{i=1}^m{\gamma }_i\cdot {\xi }_i\end{array}$$

上式中，前三者为原函数变量，后二者为拉格朗日乘子，在研究对偶问题时请注意区别

KKT 条件

$$\{\begin{array}{rl}& 1-{\xi }_i-y_i({\mathit{w}}^T{\mathit{x}}_i+b)\le 0\\ & {\mu }_i\cdot (1-{\xi }_i-y_i({\mathit{w}}^T{\mathit{x}}_i+b))=0\\ & {\mu }_i\ge 0,{\gamma }_i\ge 0,{\xi }_i\ge 0\\ & {\gamma }_i\cdot {\xi }_i=0\end{array}$$

置偏导为 0 后

$$\{\begin{array}{rl}& \mathit{w}=\sum _{i=1}^m{\mu }_i{y}_i{\mathit{x}}_i\\ & \sum _{i=1}^m{\mu }_i{y}_i=0\\ & C={\mu }_i+{\gamma }_i\end{array}$$

带入并化简对偶问题，得

$$\begin{array}{rl}\underset{\mathit{\mu }}{max}& \sum _{i=1}^m{\mu }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\mu }_i{\mu }_j{y}_i{y}_j{\mathit{x}}_i^T{\mathit{x}}_j\\ \text{s.t.}& \sum _{i=1}^m{\mu }_i{y}_i=0,\\ & 0\le {\mu }_i\le C,i=1,2,3,\dots ,m\end{array}$$