支持向量机SVM

模型形式

SVM用于连续特征二分类。

在逻辑回归中，我们习惯在特征中加入常数 $1$ 来代表偏差，从而将预测写作 $g({\theta }^{T}x)$。而在 SVM 中，我们习惯把偏差单独表示，即 $g(w^{T}x+b)$。

此外，我们还要求用 $\pm 1$ 代表分类（在后续推导中会看到这样要求的便利之处），此时取 $g(x)=\{\begin{array}{ll}1& x\ge 0\\ -1& x<0\end{array}$。

---

逻辑回归，函数间隔与几何间隔

可以看出，SVM 和逻辑回归都是依靠线性分界来分类，并且，为了使预测更加可信，我们希望当 $y^{(i)}=1$ 时，${\theta }^T{x}^{(i)}\gg 0$（或者 $w^T{x}^{(i)}+b\gg 0$），反之 ${\theta }^T{x}^{(i)}\ll 0$（或者 $w^T{x}^{(i)}+b\ll 0$）。

但是线性回归的优化目标倾向于得到整体最优：

$$max\prod _{i}P(y^{(i)}\mid x^{(i)})$$

这样可能导致会有一些点极其靠近分界面。

而 SVM 的优化目标是最大化数据点与分界面的最小距离。那么，我们需要量化定义距离——

函数间隔 functional margin

考虑如下定义距离的方式 ${\hat{\gamma }}^{(i)}:=y^{(i)}(w^T{x}^{(i)}+b)$，其实这一定义就是整合了 $y^{(i)}=\pm 1$ 的两种情况，我们只需要使 ${\hat{\gamma }}^{(i)}\gg 0$ 即可。

但是这样定义存在问题。考虑到分界线就是 $w^{T}x+b=0$，我们同倍数放缩 $w,b$ 是不影响分界线的，但是 $\hat{\gamma }$ 也会同比放缩。

我们可以加入一些限制，比如 $|w|=1$，这样就解决了同比放缩的问题。

几何间隔 geometric margin

顾名思义，${\gamma }^{(i)}$ 就是数据点 $i$ 到分界面的欧氏距离，但是考虑到 $y^{(i)}=\pm 1$，这个距离是有向的（可以从表达式中的 $y^{(i)}$ 看出有向）。

写出表达式即为

$${\gamma }^{(i)}=\frac{y^{(i)}(w^T{x}^{(i)}+b)}{|w|}$$

看起来很熟悉？取 $(w,b)⇝(\frac{w}{|w|},\frac{b}{|w|})$，即为限制 $|w|=1$ 的函数间隔。或者说：

$${\gamma }^{(i)}=\frac{{\hat{\gamma }}^{(i)}}{|w|}$$

实际上，由于分界面是线性的，函数间隔也反应了几何上的相对关系，仅是相差一些倍数。

SVM优化目标

取 $\gamma =min\{{\gamma }^{(i)}\}$，$\hat{\gamma }=min\{{\hat{\gamma }}^{(i)}\}$，则 SVM 要求最大化 $\gamma$。可以如下形式化地表达：

$$\begin{array}{rl}\underset{\gamma ,w,b}{\mathrm{maximize}}& \gamma \\ \mathrm{s}.\mathrm{t}.& \mathrm{\forall }i,\frac{y^{(i)}(w^T{x}^{(i)}+b)}{|w|}\ge \gamma \end{array}$$

注意到，分母上的 $|w|$ 导致约束非线性，我们利用函数间隔与几何间隔的关系作如下变形：

$$\begin{array}{rl}\underset{\gamma ,w,b}{\mathrm{maximize}}& \frac{\hat{\gamma }}{|w|}\\ \mathrm{s}.\mathrm{t}.& \mathrm{\forall }i,y^{(i)}(w^T{x}^{(i)}+b)\ge \hat{\gamma }\end{array}$$

仅仅是形式化的表达，我们并不能从上式马上得到我们想要的 $w,b$，因为符合条件的 $w,b,\hat{\gamma }$ 是成比的一系列取值，我们只需要其中的任意一个。

实际上也很好解决，只要限制任意一个变量即可。仍然限制 $|w|=1$？我们并不希望这样做，因为这不是线性约束。考虑限制 $\hat{\gamma }=1$，也即

$$\begin{array}{rl}\underset{w,b}{\mathrm{maximize}}& \frac{1}{|w|}\\ \mathrm{s}.\mathrm{t}.& \mathrm{\forall }i,y^{(i)}(w^T{x}^{(i)}+b)\ge 1\end{array}$$

可以看到，这样的确有唯一解，并且都是线性约束。但是这样做的本质含义是什么？——通过放缩 $(w,b)$，使得最小的函数间隔取为 $1$，这也是一种得到唯一解的方法。

进一步，把优化目标转化为易求的值。

$$\begin{array}{rl}\underset{w,b}{\mathrm{minimize}}& \frac{1}{2}|w{|}^2\\ \mathrm{s}.\mathrm{t}.& \mathrm{\forall }i,y^{(i)}(w^T{x}^{(i)}+b)\ge 1\end{array}$$

（注：从以上构造性推导无法看出 $\frac{1}{2}|w{|}^2$ 如何得来，虽然显然正确，但是应该没有解释到本质。）

这就是一个二次规划问题，可以用求解。下面我们分析广泛的 KTT 条件下的非线性规划如何求解。

---

拉格朗日乘子法

目标

用于解决有等式约束的最值问题，也即求（$max$ 同理，其中的 $w$ 是向量，代表多元函数）

$$min\{f(w)\mid g_1(w)=0,\dots ,g_m(w)=0\}$$

此处的 $f$ 通常是连续，或者分块连续的，并且保证所求最值存在。

前置

一些在之后的推导会用到的结论，如果不会严格证明可以凭借几何直观理解。

• 函数在某点的等高线的法向向量与该点的梯度平行；
• 设 $f(w)$ 在 $g(w)=0$ 限制下，在 $w_0$ 处取得最值，则等高线 $f(w)=f(w_0)$ 与 $g(w)=0$ 相切。

推导

当没有约束时，我们取得最值的点 $w_0$ 满足 $\mathrm{\nabla }f(w_0)=0$，于是可以解 $\mathrm{\nabla }f(w)=0$ 从而求得最值。

考虑有一个约束 $g(w)=0$ 时，设 $f(w)$ 在 $w_0$ 取得最值，则有 $\mathrm{\nabla }f(w_0)$ 平行于 $\mathrm{\nabla }g(w_0)$。也即 $\mathrm{\nabla }f(w_0)=-\lambda \mathrm{\nabla }g(w_0)$，其中的 $\lambda$ 就被称作拉格朗日算子。

如下构造 $L(w,\lambda )$：

$$L(w,\lambda ):=f(w)-\lambda g(w)$$

$L(w,\lambda )$ 有如下有用的性质：

• 若 $g(w)=0$，则 $L(w,\lambda )=f(w)$，所以我们也可以是在 $g(w)=0$ 限制下求 $L(w,\lambda )$ 的最值。
• $\frac{\mathrm{d}f}{\mathrm{d}\lambda }=g$，那么 $g(w)=0$ 的限制自然写作 $\frac{\mathrm{d}f(w,\lambda )}{\mathrm{d}\lambda }=0$。
• $\mathrm{\nabla }L(w,\lambda )=\mathrm{\nabla }f(w)+\lambda \mathrm{\nabla }g(w)$，则根据拉格朗日乘子的定义，在最值点 $w_0$ 有 $\mathrm{\nabla }L(w_0,\lambda )=0$。

于是我们可以发现这样构造的巧妙之处——有限制的最值问题化为了无限制的求 $L(w,\lambda )$ 的最值问题。

推广到多个限制，同样解如下函数的无限制最值（几何上不太直观，但还是用上述性质证）：

$$L(w,{\lambda }_1,\dots ,{\lambda }_m):=f(w)+{\lambda }_1{g}_1(w)+\cdots +{\lambda }_m{g}_m(w)$$

---

KTT 条件下非线性规划求解

考虑在拉格朗日乘子法所解决的问题中引入不等式限制，形式化地：

$$\underset{w}{min}\{f(w)\mid g_i(w)=0,h_j(w)\le 0\}$$

仍然考虑引入拉格朗日乘子：

$$L(w,{\alpha }_i,{\beta }_j)=f(w)+\sum _i{\alpha }_i{g}_i(w)+\sum _j{\beta }_j{h}_j(w)$$

我们希望引入拉格朗日乘子能够做到以下的操作：

• 如果最值点在不等式的边界取得，也即 $h_i(w)=0$，则 ${\beta }_i$ 产生与一般的拉格朗日乘子相同的效果；
• 如果最值点在不等式的内部取得，也即 $h_i(w)<0$，则 ${\beta }_i=0$。

如果以上两点满足，则可以直接求 $L$ 的最值代替求 $f$ 的最值。但是很明显不满足，问题出在我们的第二个要求——如果我们直接求 $L$ 的最大值，而有 $h_j(w)<0$，我们显然可以让 ${\beta }_j\to -\mathrm{\infty }$，那么 $L$ 无最值。

上述问题的根源是 $\beta$ 能取负数，我们想要限制 ${\beta }_j\ge 0$，这样就能解决这个问题。于是作如下构造：

$$\hat{L}(w)=\underset{\beta \ge 0,\alpha }{max}L(w,\alpha ,\beta )$$

那么无论最值点落在何处，都有 $\hat{L}(w)=f(w)$，所以我们只需要求

$$\underset{w}{min}\hat{L}(w)=\underset{w}{min}\underset{\beta \ge 0,\alpha }{max}L(w,\alpha ,\beta )$$

利用一些现有的结论（对偶问题的结论，我还没学:(），对于这个问题，

$$\begin{array}{rl}\underset{w}{min}\hat{L}(w)& =\underset{w}{min}\underset{\beta \ge 0,\alpha }{max}L(w,\alpha ,\beta )\\ & =\underset{\beta \ge 0,\alpha }{max}\underset{w}{min}L(w,\alpha ,\beta )\end{array}$$

---

求解 SVM 最优化问题

在上文，我们推导出了 SVM 最优化目标：

$$\begin{array}{rl}\underset{w,b}{\mathrm{minimize}}& \frac{1}{2}|w{|}^2\\ \mathrm{s}.\mathrm{t}.& \mathrm{\forall }i,y^{(i)}(w^T{x}^{(i)}+b)\ge 1\end{array}$$

改写为标准的二次规划问题：

$$\begin{array}{rl}\underset{w,b}{\mathrm{minimize}}& \frac{1}{2}|w{|}^2\\ \mathrm{s}.\mathrm{t}.& \mathrm{\forall }i,1-y^{(i)}(w^T{x}^{(i)}+b)\le 0\end{array}$$

引入拉格朗日乘子：

$$\begin{array}{rl}L(w,b,\alpha )& =\frac{1}{2}|w{|}^2+\sum _i{\alpha }_i(1-y^{(i)}(w^T{x}^{(i)}+b))\\ & =\frac{1}{2}{w}^{T}w-w^T\sum _i{\alpha }_i{y}^{(i)}{x}^{(i)}+\sum _i{\alpha }_i(1-b{y}^{(i)})\end{array}$$

在 $\alpha$ 给定且 ${\alpha }_i\ge 0$ 的情况下，求偏导并置零：

$$\begin{array}{rl}\mathrm{\nabla }L(w,b,\alpha )& =w-\sum _i{\alpha }_i{y}^{(i)}{x}^{(i)}=0\\ \frac{\partial }{\partial b}L(w,b,\alpha )& =-\sum _i{\alpha }_i{y}^{(i)}=0\end{array}$$

于是得到

$$w=\sum _i{\alpha }_i{y}^{(i)}{x}^{(x)}$$

SVM 的预测值是 $w^{T}x+b$，于是代入 $w$ 可得

$$h(x)=\sum _i{\alpha }_i{y}^{(i)}{x}^{(i)T}x$$

并且当且仅当下式成立，原函数有最小值：

$$\sum _i{\alpha }_i{y}^{(i)}=0$$

代入 $L(w,b,\alpha )$ 得

$$\begin{array}{rl}J(\alpha )& =-\frac{1}{2}\sum _i{\alpha }_i{y}^{(i)}{x}^{(i)T}\sum _j{\alpha }_j{y}^{(j)}{x}^{(j)}+\sum _i{\alpha }_i(1-b{y}^{(i)})\\ & =-\frac{1}{2}\sum _i{\alpha }_i{y}^{(i)}{x}^{(i)T}\sum _j{\alpha }_j{y}^{(j)}{x}^{(j)}+\sum _i{\alpha }_i-b\sum _i{\alpha }^{(i)}{y}^{(i)}\\ & =\sum _i{\alpha }_i-\frac{1}{2}\sum _{ij}{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}{x}^{(i)T}{x}^{(j)}\\ & =\sum _i{\alpha }_i-\frac{1}{2}\sum _{ij}{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}⟨x^{(i)},x^{(j)}⟩\end{array}$$

最后一步引入内积记号，$⟨v,u⟩:=v^{T}u$，只是为了下一步的推导。

同样也将 SVM 的预测值写作内积形式

$$h(x)=\sum _i{\alpha }_i{y}^{(i)}⟨x^{(i)},x⟩$$

接下来就是以 $\alpha$ 为变量求最大值，即

$$\underset{\alpha }{max}\{J(\alpha )\mid \sum _i{\alpha }_i{y}^{(i)}=0\}$$

暂时搁置这一问题，作为 SMO 算法章节的目标。

假设已经求得 $\alpha$，我们可以直接算出 $w$：

$$w=\sum _i{\alpha }_i{y}^{(i)}{x}^{(x)}$$

但是如何确定 $b$？此时需要回归最开始的最优化目标：

$$\begin{array}{rl}\underset{b}{\mathrm{maximize}}& \hat{\gamma }\\ \mathrm{s}.\mathrm{t}.& y^{(i)}(w^T{x}^{(i)}+b)\ge \hat{\gamma }\end{array}$$

于是可以得到

$$b=-\frac{1}{2}(\underset{y^{(i)}=1}{max}\{w^T{x}^{(i)}\}+\underset{y^{(i)}=-1}{min}\{w^T{x}^{(i)}\})$$

也即正负分分界的中点。

---

核函数 Kernel

如果仅仅是完成以上的最优化目标，SVM仍然仅仅做到了线性分类，与逻辑回归的唯一区别就是最优化的思想不同。

然而结合 Kernel，SVM 能够做到非线性分类。

回顾在逻辑回归中，我们如何实现一个非常局限的非线性分类——比如我们观察到分类边界大概是个二次函数，那么我们把特征手动扩展至平方。

可以用这样一个特征变换函数表示（以 $3$ 个特征值为例）：

$$\begin{array}{rl}\varphi (x)& =x^2\\ \left(\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right)& \mapsto \left(\begin{array}{c}{x}_1{x}_1\\ x_1{x}_2\\ x_1{x}_3\\ \dots \\ x_3{x}_3\end{array}\right)\end{array}$$

进行这样的坐标变换后，原来的最优化问题也要相应修改。之前用内积表达最优化目标的作用就体现在此处——SVM的最优化目标中所有涉及特征 $x$ 的位置，都是一个内积，我们只需要把 $⟨x^{(i)},x^{(j)}⟩$ 更换为 $⟨\varphi (x^{(i)}),\varphi (x^{(j)})⟩$。

但是我们很快发现，进行上述坐标变换后，计算代价非常大，计算一次内积由原来的 $O(n)$ 变为了 $O(n^2)$。是否有方法加速计算？

我们考虑用核函数 $K$ 表示特征变换后的内积。

$$K(u,v):=⟨\varphi (u),\varphi (v)⟩$$

观察以下核函数，并推导其对应的坐标变换：

$$\begin{array}{rl}K(u,v)& =(u^{T}v{)}^2\\ & ={\left(\sum _{i=1}^n{u}_i{v}_i\right)}^2\\ & =\sum _{i=1}^n\sum _{j=1}^n{u}_i{u}_j{v}_i{v}_j\\ & =(u_1{u}_1,u_1{u}_2,\dots ,u_n{u}_n)(v_1{v}_1,v_1{v}_2,\dots ,v_n{v}_n{)}^T\end{array}$$

发现它对应的坐标变换就是之前提到的 $\varphi (x)=x^2$。也就是说我们可以直接计算

$$⟨\varphi (x^{(i)}),\varphi (x^{(j)})⟩=K(x^{(i)},x^{(j)})=(x^{(i)T}{x}^{(j)}{)}^2$$

复杂度仍为 $O(n)$。

常用的核函数

考虑如下核函数：

$$K_1(u,v)=(u^{T}v+c{)}^d$$

同样的推导，可以知道它对应的变换为

$$\begin{array}{rl}\varphi (x)& =\left(\begin{array}{c}{x}^d\\ \sqrt{cd}{x}^{d-1}\\ ⋮\\ \sqrt{c^{d-1}d}x\\ \sqrt{c^d}\end{array}\right)\end{array}$$

合理设置 $c$ 的取值，我们可以得到一个 $d$ 次的坐标变换，计算代价仍然是 $O(n)$（如果 $d$ 是个小常数）。

再考虑如下核函数：

$$K_2(u,v)=\exp (-\frac{|u-v{|}^2}{2{\sigma }^2})$$

这个核函数称为高斯核函数，因为它看起来很像高斯分布的概率密度。用泰勒展开为无穷级数，可知 $K_2$ 对应的特征变换是将原特征变换为无穷维特征，而计算代价仍然较小。这很明显地体现了核函数的强大。

有效的核函数

由 Mercer 定理，对于函数 $K(u,v)$，存在特征变换 $\varphi (x)$ 使得 $K$ 是 $\varphi$ 的核函数的充要条件是 $K$ 是对称半正定的。

在这里我们可以把 $K$ 视作一个矩阵：$K_{ij}=K(x^{(i)},x^{(j)})$。显然 $K$ 是对称的。并且由于内积的线性性：

$$K(u,v)=u^{T}Kv$$

必要性容易证明：

$$\begin{array}{rl}K(z,z)& =z^{T}Kz\\ & =\sum _i\sum _j{z}_i{K}_{ij}{z}_j\\ & =\sum _i\sum _j{z}_i{\varphi }^T(x^{(i)})\varphi (x^{(j)})z_j\\ & =\sum _i\sum _j{z}_i{z}_j\sum _k{\varphi }_k(x^{(i)}){\varphi }_k(x^{(j)})\\ & =\sum _k\sum _i{z}_i{\varphi }_k(x^{(i)})\sum _j{z}_j{\varphi }_k(x^{(j)})\\ & =\sum _k{(\sum _i{z}_i{\varphi }_k(x^{(i)}))}^2\end{array}$$

充分性略过。

这意味着我们没有必要找到原变换 $\varphi$ 来判断 $K$ 是否是一个有意义的核函数，而可以直接验证 $\mathrm{\forall }i,K(x^{(i)},x^{(i)})\ge 0$ 来判断。

---

容错——Regularization

回顾 SVM 的优化目标：

$$\begin{array}{rl}\underset{w,b}{\mathrm{minimize}}& \frac{1}{2}|w{|}^2\\ \mathrm{s}.\mathrm{t}.& \mathrm{\forall }i,y^{(i)}(w^T{x}^{(i)}+b)\ge 1\end{array}$$

然而，如果数据本身不可分（可能是噪声），也即条件不能对所有 $i$ 满足，我们仍然希望得到一个尽可能好的分界。

引入松弛变量 ${\xi }_i$，将限制条件改为

$$\mathrm{\forall }i,y^{(i)}(w^T{x}^{(i)}+b)\ge 1-{\xi }_i,{\xi }_i\ge 0$$

从而允许一些点不符合分界要求，但是不能无限制的松弛，考虑修改代价函数——松弛越多代价越高。

$$\begin{array}{rl}\underset{w,b}{\mathrm{minimize}}& \frac{1}{2}|w{|}^2+C\sum _i{\xi }_i\\ \mathrm{s}.\mathrm{t}.& \mathrm{\forall }i,1-{\xi }_i-y^{(i)}(w^T{x}^{(i)}+b)\le 0,\\ & -{\xi }_i\le 0\end{array}$$

其中 $C$ 是一个设置的参数，$C$ 越大限制越强。

于是相应的修改拉格朗日乘子法，再引入乘子 $\xi$：

$$\begin{array}{rl}\mathcal{L}(w,b,\xi ,\alpha ,\beta )& =\frac{1}{2}|w{|}^2+C\sum _i{\xi }_i\\ & +\sum _i{\alpha }_i(1-{\xi }_i-y^{(i)}(w^T{x}^{(i)}+b))\\ & +\sum _i{\beta }_i(-{\xi }_i)\end{array}$$

于是我们要求（需要注意 $w,b,\xi$ 都是算法的参数，而 $\alpha ,\beta$ 是乘子）：

$$\underset{w,b,\xi }{min}\underset{\alpha \ge 0,\beta \ge 0}{max}\{\mathcal{L}(w,b,\alpha ,\beta )\}=\underset{\alpha \ge 0,\beta \ge 0}{max}\underset{w,b}{min}\{\mathcal{L}(w,b,\alpha ,\beta )\}$$

求偏导并置零：

$$\begin{array}{rl}\frac{\partial \mathcal{L}}{\partial w}& =w-\sum _i{\alpha }_i{y}^{(i)}{x}^{(i)}\\ \frac{\partial \mathcal{L}}{\partial b}& =-\sum _i{\alpha }_i{y}^{(i)}\\ \frac{\partial \mathcal{L}}{\partial {\xi }_i}& =C-{\alpha }_i-{\beta }_i\Rightarrow \frac{\partial \mathcal{L}}{\partial \xi }& =C-\alpha -\beta \end{array}$$

于是乎，$\mathcal{L}$ 对 $w,b,\xi$ 有最小值当且仅当

$${\alpha }^{T}y=0,C-\alpha -\beta =0$$

考虑到 ${\alpha }_i\ge 0,{\beta }_i\ge 0$，上述第二条限制可以写为：

$$0\le {\alpha }_i\le C$$

此时 $w=\sum _i{\alpha }_i{y}^{(i)}{x}^{(i)}$，

$$\begin{array}{rl}\mathcal{L}(w,b,\xi ,\alpha ,\beta )& =-\frac{1}{2}{w}^{T}w+\sum _i{\alpha }_i\\ & =-\frac{1}{2}\sum _{i,j}{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}⟨x^{(i)},x^{(j)}⟩+\sum _i{\alpha }_i\end{array}$$

总结即为：

$$\underset{0\le {\alpha }_i\le C,{\alpha }^{T}y=0}{max}\{\sum _i{\alpha }_i-\frac{1}{2}\sum _{i,j}{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}⟨x^{(i)},x^{(j)}⟩\}$$

当如下 KKT 条件满足时，原问题得解：

$$\begin{array}{rl}{\alpha }_i=0& \iff y_{i}h(x_i)\le 1\\ {\alpha }_i=C& \iff y_{i}h(x_i)\ge 1\\ 0<{\alpha }_i<C& \iff y_{i}h(x_i)=1\end{array}$$

---

坐标上升法 & SMO

最后我们开始着手解决上述最优化问题。需要引入梯度下降以及牛顿法以外的另一个迭代求解的算法——坐标上升法，以及该方法应用到 SVM 上的一个优化——SMO。

坐标上升法

思路同样非常简单。设 $f({\alpha }_1,\dots ,{\alpha }_n)$ 是 $n$ 元函数，${\alpha }_i$ 的取值在实数域上没有任何限制。我们想要求 $f$ 的最小值（以及对应的参数取值）。

我们每次选择一个参数 ${\alpha }_k$，视其他参数为常数，则 $f$ 成为关于 ${\alpha }_k$ 的一元函数，此时我们求使得 $f$ 取得最小值的 ${\alpha }_k^{\prime }$，令 ${\alpha }_k⇝a_k^{\prime }$。形式化地：

$${\alpha }_k:=\underset{t}{\mathrm{argmin}}f({\alpha }_1,\dots ,{\alpha }_{k-1},t,{\alpha }_{k+1},\dots ,{\alpha }_n)$$

如果 $f$ 是一个凸函数（对于最大值则是凹函数），则算法正确性是显然的。SVM 的优化目标是凸函数，由这一点可以看出之前取优化目标为 $\frac{1}{2}|w{|}^2$ 的明智性。

此外，对于 SVM，此方法还需修改，因为 SVM 的 ${\alpha }_1,\dots ,{\alpha }_n$ 是相关的——

$$\sum _i{\alpha }_i{y}^{(i)}=0$$

考虑如下修改：每次取两个坐标 ${\alpha }_i,{\alpha }_j$，则 ${\alpha }_j$ 是关于 ${\alpha }_i$ 的函数，进而 $f$ 是关于 ${\alpha }_i$ 的函数。

下面具体描述如何用坐标上升法实现 SVM。

SMO

常规的坐标上升法，我们往往会选择依次优化每一个参数，迭代若干次直至收敛。

如果 $n$ 很大（SVM 就是这种情况），那么这个算法迭代一次无疑非常低效。我们很自然地想要选择下降最快的一个坐标。

先研究如何优化 ${\alpha }_i,{\alpha }_j$ 两个参数。

优化参数

考虑选定 ${\alpha }_i,{\alpha }_j$ 两个参数进行优化，优化需要满足

• ${\alpha }_i,{\alpha }_j\in [0,C]$；
• $y^{(i)}{\alpha }_i+y^{(j)}{\alpha }_j$ 恒定，因为其满足线性约束。

于是可以针对 $y^{(i)},y^{(j)}$ 相等、不等两种情况分别计算出 ${\alpha }_j$ 的取值范围，记为 $[L,H]$，具体参考 Plott 的论文。

我们把优化目标函数记为 $\mathrm{\Psi }(\alpha )$，即

$$\mathrm{\Psi }(\alpha )=\sum _i{\alpha }_i-\frac{1}{2}\sum _{ij}{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}K(x^{(i)},x^{(j)})$$

既然研究 ${\alpha }_i,{\alpha }_j$ 的优化，就把 $\mathrm{\Psi }(\alpha )$ 整理成只与这两个变量相关的函数（用 $K_{pq}$ 表示 $K(x^{(p)},x^{(q)})$）：

$$\begin{array}{rl}\mathrm{\Psi }(\alpha )& =({\alpha }_i+{\alpha }_j)-\frac{1}{2}{\alpha }_i^2{K}_{ii}-\frac{1}{2}{\alpha }_j^2{K}_{jj}-y^{(i)}{y}^{(j)}{\alpha }_i{\alpha }_j{K}_{ij}\\ & -{\alpha }_i{y}^{(i)}\sum _{k\ne i,j}{\alpha }_k{y}^{(k)}{K}_{ik}-{\alpha }_j{y}^{(j)}\sum _{k\ne i,j}{\alpha }_k{y}^{(k)}{K}_{jk}\\ & +Const\end{array}$$

我们知道 ${\alpha }_i,{\alpha }_j$ 之间有线性限制，具体可以写为：

$${\alpha }_i+y^{(i)}{y}^{(j)}{\alpha }_j=\lambda :=-y^{(i)}\sum _{k\ne i,j}{y}^{(k)}{\alpha }_k$$

设 $s=y^{(i)}{y}^{(j)}$，则有 ${\alpha }_i=\lambda -s{\alpha }_j$，$\frac{\partial {\alpha }_i}{\partial {\alpha }_j}=-s$。

于是

$$\begin{array}{rl}\frac{\partial }{\partial {\alpha }_j}\mathrm{\Psi }(\alpha )& =1-s-(\lambda -s{\alpha }_j)(-s)K_{ii}-{\alpha }_j{K}_{jj}\\ & -s(\lambda -s{\alpha }_j)K_{ij}+{\alpha }_j{K}_{ij}\\ & +y^{(j)}(v_i-v_j)\end{array}$$

其中 $v_i=\sum _{k\ne i,j}{\alpha }_k{y}^{(k)}{K}_{ik}$，$v_j$ 同理。

我们将与 ${\alpha }_i,{\alpha }_j$ 有关的变量在修改之前的值用 $\tilde{x}$ 标注。注意到

$$\begin{array}{r}{\tilde{u}}_i:=h(x^{(i)})=\sum _k{\alpha }_k{y}^{(k)}{K}_{ik}=v_i+{\tilde{\alpha }}_i{y}^{(i)}{K}_{ii}+{\tilde{\alpha }}_j{y}^{(j)}{K}_{ij}\end{array}$$

则有

$$\begin{array}{r}{v}_i={\tilde{u}}_i-{\tilde{\alpha }}_i{y}^{(i)}{K}_{ii}-{\tilde{\alpha }}_j{y}^{(j)}{K}_{ij}\\ v_j={\tilde{u}}_j-{\tilde{\alpha }}_i{y}^{(i)}{K}_{ij}-{\tilde{\alpha }}_j{y}^{(j)}{K}_{jj}\end{array}$$

将以上两式以及 $\lambda =y^{(i)}{\tilde{\alpha }}_i+y^{(j)}{\tilde{\alpha }}_j$ 代入 $\frac{\partial }{\partial {\alpha }_j}\mathrm{\Psi }(\alpha )$（注：笔者并未成功化简出如下式子，结论参考自 Plott 的论文）：

$$\begin{array}{rl}\frac{\partial }{\partial {\alpha }_j}\mathrm{\Psi }(\alpha )& =({\alpha }_j-{\tilde{\alpha }}_j)(K_{ii}+K_{jj}-2K_{ij})\\ & -y^{(j)}({\tilde{u}}_i-y^{(i)}-{\tilde{u}}_j+y^{(j)})\end{array}$$

则有

$${\hat{\alpha }}_j={\tilde{\alpha }}_j+\frac{y^j({\tilde{E}}_i-{\tilde{E}}_j)}{\eta }$$

其中 $E_i=u_i-y^{(i)}$，表示样本 $i$ 的误差（预测-实际），这一变量需要在程序中维护（是SMO算法的重要优化，笔者尚未理解优化原因）。$\eta =K_{ii}+K_{jj}-2K_{ij}$，仅是方便表示。

为什么写作 ${\hat{\alpha }}_j$ 而不是 ${\alpha }_j$？因为 ${\alpha }_j$ 还必须满足 ${\alpha }_j\in [L,H]$ 的限制，而我们现在相当于只是在整个平面上考虑 $\mathrm{\Psi }(\alpha )$ 的最值。所幸 $\mathrm{\Psi }$ 关于 $\alpha$ 是二次的，所以如果 ${\alpha }_j$ 越过了 $[L,H]$ 边界，则最值在边界取得：

$${\alpha }_j=\{\begin{array}{ll}L& {\hat{\alpha }}_j\le L\\ {\hat{\alpha }}_j& L<{\hat{\alpha }}_j<H\\ H& {\hat{\alpha }}_j\ge H\end{array}$$

更新其他值：

$$\begin{array}{rl}{\alpha }_i& =\lambda -s{\alpha }_j\\ E_k& ={\tilde{E}}_k+({\alpha }_i-{\tilde{\alpha }}_i)y^{(i)}{K}_{ik}+({\alpha }_j-{\tilde{\alpha }}_j)y^{(j)}{K}_{jk}+b-\tilde{b}\end{array}$$

注意到偏差 $b$ 也会随着 ${\alpha }_i,{\alpha }_j$ 的变化而更新。下面研究怎样计算 $b$。我们需要调整 $b$ 使得 ${\alpha }_i$ 或 ${\alpha }_j$ 对应的 KKT 条件满足：

若 $0<{\alpha }_i<C$，要使 ${\alpha }_i$ 的 KKT 条件满足，则 $y^{(i)}{u}_i=1$，即 $u_i=y^{(i)}$。又

$$\begin{array}{rl}{u}_i& ={\tilde{u}}_i+({\alpha }_i-{\tilde{\alpha }}_i)y^{(i)}{K}_{ii}+({\alpha }_j-{\tilde{\alpha }}_j)y^{(j)}{K}_{ij}+b-\tilde{b}\end{array}$$

则

$$\begin{array}{rl}{b}_1& =\tilde{b}-({\alpha }_i-{\tilde{\alpha }}_i)y^{(i)}{K}_{ii}-({\alpha }_j-{\tilde{\alpha }}_j)y^{(j)}{K}_{ij}+y^{(i)}-{\tilde{u}}_i\\ & =\tilde{b}-({\alpha }_i-{\tilde{\alpha }}_i)y^{(i)}{K}_{ii}-({\alpha }_j-{\tilde{\alpha }}_j)y^{(j)}{K}_{ij}-{\tilde{E}}_i\end{array}$$

若 $0<{\alpha }_j<C$，要使 ${\alpha }_j$ 满足 KKT 限制，同理有

$$b_2=\tilde{b}-({\alpha }_i-{\tilde{\alpha }}_i)y^{(i)}{K}_{ij}-({\alpha }_j-{\tilde{\alpha }}_j)y^{(j)}{K}_{jj}-{\tilde{E}}_j$$

于是我们这样更新 $b$：

• 如果 ${\alpha }_i$ 不在边界（$0<{\alpha }_i<C$），则取 $b=b_1$；
• 如果 ${\alpha }_i$ 在边界而 ${\alpha }_j$ 不在边界，则取 $b=b_2$；
• 如果 ${\alpha }_i,{\alpha }_j$ 都不在边界，则取 $b=\frac{1}{2}(b_1+b_2)$。

选取优化参数

下面描述 SMO 的启发式流程，笔者尚未理解其优化原理。

外层循环（Plott 论文中的 outer loop）用于选取第一个参数 ${\alpha }_j$。

1. 首先枚举每一个 $\alpha$，如果其不满足 KKT 约束，并且可以优化，则选取其为 ${\alpha }_j$ 并进一步选取 ${\alpha }_i$ 进行优化。完成这一轮循环后，如果没有找到可以优化的 ${\alpha }_j$，则全局优化结束，否则，下一轮循环只考虑不在边界的 $\alpha$ 作为 ${\alpha }_j$。
2. 枚举所有不在边界的 $\alpha$ 为 ${\alpha }_j$，如果可以优化，则进一步寻找 ${\alpha }_i$。若这一轮循环没有找到可以优化的 ${\alpha }_j$，则下一轮循环枚举所有 $\alpha$（步骤 1）；否则，下一轮循环仍然只考虑不在边界的 $\alpha$。

内层循环用于选取第二个参数 ${\alpha }_i$。

1. 首先尝试最大化 $|E_i-E_j|$——如果 $E_i>0$，则尝试找到最小的 $E_j$，否则尝试找到最大的 $E_j$。
2. 如果步骤 1 找不到合法的 $E_j$，则枚举所有不在边界的 ${\alpha }_i$ 尝试优化。注意，为了防止总是用较小的 $i$ 进行优化而导致模型偏向靠前的数据，枚举的起点是随机选取的。
3. 如果步骤 2 也没有找到可以优化的 ${\alpha }_i$，再枚举所有的 ${\alpha }_i$ 尝试优化，同样要随机选取起点。

参考代码

**Show Code**

Copy