支持向量机

《机器学习》周志华 读书笔记

1. 间隔与支持向量

给定样本集，在样本空间中找到一超平面将不同的类别的数据划分开。我们希望能够找到两类样本“正中间”的那个超平面。因为那个超平面的容忍度最好，鲁棒性最好。
超平面方程可使用下面的线性方程来描述：

wTx+b=0$$w^{T}x+b=0$$

w=(w1;w2;w3;..;wd)$w=(w_1;w_2;w_3;..;w_d)$ 为方程的法向量。b为位移量，决定超平面和原点之间的距离。
超平面可有法向量和位移量表示,记为(w,b)。
样本空间中任意点x的超平面的距离为

r=∣∣wT+b∣∣∥w∥$$r=\frac{\left|w^T+b\right|}{\Vert w\Vert }$$

样本能被正确分类时，令

{wTx+b≥1wTx+b≤−1yi=1yi=−1$$\{\begin{array}{ll}{w}^{T}x+b\ge 1& y_i=1\\ w^{T}x+b\le -1& y_i=-1\end{array}$$

距离超平面最近的训练样本使上式等号成立，他们被称为支撑向量。
两个类别支持向量到超平面的距离之和为

γ=2∥w∥$$\gamma =\frac{2}{\Vert w\Vert }$$

, 这也被称为间隔(margin）。
寻找具有最大间隔的超平面就是要找满足

{wTx+b≥1wTx+b≤−1yi=1yi=−1$$\{\begin{array}{ll}{w}^{T}x+b\ge 1& y_i=1\\ w^{T}x+b\le -1& y_i=-1\end{array}$$

中约束的参数w$w$，b$b$，使γ$\gamma$最大。即：

maxw,b2∥w∥$$\underset{w,b}{max}\frac{2}{\Vert w\Vert }$$

s.t.yi(wTxi+b)≥1,i=1,2,...,m.$$s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m.$$

这里乘以类别yi$y_i$能够把两个式子统一成一个式子。

上面的表示等价于：

minw,b∥w∥2$$\underset{w,b}{min}\frac{\Vert w\Vert }{2}$$

s.t.yi(wTxi+b)≥1,i=1,2,...,m.$$s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m.$$

这就是SVM的基本型。