支持向量机1——线性可分情况

支持向量机

线性可分

线性可分：假设特征空间为二维，存在一条直线，可以将两类样本分开，则为线性可分；则非线性可分即为不存在一条直线，将两类样本分开。在三维中，直线变为平面。超过四维时，则直线平面化为超平面。

线性可分的严格定义：一个训练样本集 $\{(X_i,y_i),\dots ,(X_N,y_N)\}$ ,在 $\mathrm{i}=1\sim \mathrm{N}$ 线性可分，是指存在$({\omega }_1,{\omega }_2,b)$,使得对$\mathrm{i}=1\sim \mathrm{N}$，有

$$(1)\mathrm{若}{y}_i=+1,\mathrm{则}{\omega }_1{x}_{i1}+{\omega }_2{x}_{i2}+b>0$$

$$(2)\mathrm{若}{y}_i=-1,\mathrm{则}{\omega }_1{x}_{i1}+{\omega }_2{x}_{i2}+b<0$$

最优分类直线

支持向量：两条平行线所插到的样本称为支持向量。

间隔：两条平行线之间的距离称为间隔。

在线性可分的情况下，支持向量机寻找的最优分类直线应该满足：

1. 该直线分开了两类；
2. 该直线最大化间隔；
3. 该直线处于间隔的中间，到所有支持向量的距离相等。

最优分类超平面

SVM的任务就是找到一个超平面，使之能够分开两类样本，同时使得两类样本的支持向量距离超平面最远且相等。超平面方程如下：

$${\omega }^{T}x+b=0$$

在n维空间中，点 $x=(x_1,x_2,...,x_n)$ 到直线 ${\omega }^{T}x+b=0$ 的距离公式为：

$$\frac{|{\omega }^{T}x+b|}{\Vert \omega \Vert }$$

假设超平面到支持向量的距离为d，于是有如下公式：

$$\{\begin{array}{l}\frac{{\omega }^{T}x+b}{\Vert \omega \Vert }\ge dy=1\\ \frac{{\omega }^{T}x+b}{\Vert \omega \Vert }\le -dy=-1\end{array}$$

当 $x$ 为支持向量时取等号，当 $x$ 为非支持向量时，距离大于d。

将上述公式稍作变化，方程两边同时乘 $\Vert \omega \Vert$ ，令 $\Vert \omega \Vert d$ 为1（方便推导，且对目标函数优化无影响,且其值为常数，等比例变化常数，超平面不发生变化），并将两个方程合并，得到如下公式：

$$y(w^{T}x+b)\ge 1$$

由于前面令 $\Vert \omega \Vert d=1$ ，则支持向量到超平面的距离为

$$d=\frac{1}{\Vert \omega \Vert }$$

由此可见，最大化支持向量到超平面的距离，等价于最小化 $\Vert \omega \Vert$，为方便后续的求导计算，可将优化问题定义为

$$\mathrm{最}\mathrm{小}\mathrm{化}\frac{1}{2}\Vert \omega {\Vert }^2$$

$$\mathrm{限}\mathrm{制}\mathrm{条}\mathrm{件}：y(w^T{x}_i+b)\ge 1,(\mathrm{i}=1\sim \mathrm{N})$$

其中$(X_i,y_i),\mathrm{i}=1\sim \mathrm{N}$是已知的，$\omega$和b是未知的

由此可见，此类问题为凸优化问题中的二次规划问题。
二次规划问题定义：

1. 目标函数是二次项
2. 限制条件是一次项

此类凸优化问题，要么无解，要么只有唯一的最小值。（凸优化问题可以当做一个已经解决的问题，可直接用梯度下降求解最小值）