SVM推导

如图，对于一个可分并且没有异常数据的二分问题，通过原始的感知机算法能够得到正确分类。如果靠近直线的蓝点再往上移动一点，就回被错误预测，算法的泛化能力并不好。支持向量机是一种讲样本与分界面之间间隔最大化的算法，所以用SVM可以或者更好的划分。

Hard Margin SVM（硬间隔支持向量机）

为了方便我们使$y=\{\begin{array}{ll}& 1\text{if 正确分类}\\ & -1\text{if 错误分类}\end{array}$，这时，我们要求的为如下公式

$$\{\begin{array}{cc}& \arg \underset{w,b}{max}\underset{x}{min}\frac{|w^{T}x+b|}{\Vert w\Vert }\\ & \text{s.t.}(w^{T}x+b)>0\end{array}$$

即在正确分类的情况下使到分界线的距离最小的点最大化。
前文中$y\in \{1,-1\}$,所以可以写作

$$\{\begin{array}{cc}& \arg \underset{w,b}{max}\underset{x}{min}\frac{y(w^{T}x+b)}{\Vert w\Vert }\\ & \text{s.t.}(w^{T}x+b)>0\end{array}$$

首先将由于多个(w,b)对应一个分界面，为了使最小值最大化分界面到两边最近的点距离一样，我们就可以通过缩放得出$mi{n}_x|w^{T}x+b|=1$。即：

$$\begin{array}{ll}& \arg \underset{w,b}{max}\underset{x}{min}\frac{y(w^{T}x+b)}{\Vert w\Vert }\\ =& \arg \underset{w,b}{max}\frac{\underset{x}{min}y(w^{T}x+b)}{\Vert w\Vert }\\ =& \arg \underset{w,b}{max}\frac{1}{\Vert w\Vert }\\ =& \arg \underset{w,b}{min}\Vert w\Vert \\ =& \arg \underset{w,b}{min}\frac{1}{2}{w}^{T}w\end{array}$$

两边最小值一定存在且一定是$\pm 1$，所以可以写作

$$\{\begin{array}{cc}& \arg \underset{w,b}{min}\frac{1}{2}{w}^{T}w\\ & \text{s.t.}1-y_i(w^T{x}_i+b)\le 0\end{array}$$

通过拉格朗日乘子法，我们可以去掉对(w,b)的约束。设$\mathcal{L}(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\sum _{i=0}^n\lambda (1-y_i(w^T{x}_i+b))$，可得

$$\{\begin{array}{cc}& \underset{w,b}{min}ma{x}_{\lambda }\mathcal{L}(w,b,\lambda )\\ & \text{s.t.}{\lambda }_i\ge 0\end{array}$$

由于强对偶，得

$$\{\begin{array}{cc}& ma{x}_{\lambda }\underset{w,b}{min}\mathcal{L}(w,b,\lambda )\\ & \text{s.t.}{\lambda }_i\ge 0\end{array}$$

分别对w、b求导并令偏导为零

$$\begin{array}{l}\frac{\partial L}{\partial w}=w-\sum _{i=1}^n{\lambda }_i{x}_i{y}_i=0\\ \frac{\partial L}{\partial b}=\sum _{i=1}^n{\lambda }_i{y}_i=0\end{array}$$

得：

$$\begin{array}{c}{w}^{\ast }=\sum _{i=1}^n{\lambda }_i{x}_i{y}_i\\ \sum _{i=1}^n{\lambda }_i{y}_i=0\end{array}$$

将条件带入，得：

$$\begin{array}{rl}\mathcal{L}(w,b,\lambda )& =\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^n{\lambda }_i-\sum _{i=1}^n{\lambda }_i{y}_i(\sum _{j=1}^n{\lambda }_j{y}_j(x_i\cdot x_j)+b)\\ & =\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^n{\lambda }_i-\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^n{\lambda }_i{y}_{i}b\\ & =\sum _{j=1}^n{\lambda }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j(x_i\cdot x_j)\end{array}$$

即

$$\{\begin{array}{rl}ma{x}_{\lambda }& \sum _{j=1}^n{\lambda }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j(x_i\cdot x_j)\\ \text{s.t.}& {\lambda }_i\ge 0\\ & \sum _{i=1}^n{\lambda }_i{y}_i=0\end{array}$$

又由于KKT条件，可得

$$\begin{array}{rl}{\mathrm{\nabla }}_w\mathcal{L}& =0\\ {\mathrm{\nabla }}_b& =0\\ g(\mathbf{x})& \le 0\\ \lambda & \ge 0\\ \lambda g(\mathbf{x})& =0\end{array}$$

即$\lambda \ne 0$时，$(1-y_i(w^T{x}_i+b))=0$。
最终得

$$\begin{array}{rl}{w}^{\ast }& =\sum _{i=1}^n{\lambda }_i{x}_i{y}_i\\ b^{\ast }& =\sum _{s\in S}{y}_s-w^T{x}_s\\ & =\sum _{s\in S}{y}_s-(\sum _{i=1}^n{\lambda }_i{x}_i{y}_i)x_s\end{array}$$

其中${\lambda }_i$未知可以通过SMO算法求出
这是可以通过$y^{\ast }=\text{sign}(w^{\ast }{}^{T}x+b^{\ast })$
这便是Hard Margin SVM（硬间隔支持向量机）。Hard Margin SVM是一个硬分类算法，所以对于存在异常数据和不可分的问题，效果不好，如果我们允许少量的样本跨过分界会有更好的效果，即Soft Margin SVM（软间隔支持向量机）。

Soft Margin SVM（软间隔支持向量机）

如何量化那条线更好呢？我们可以用过一个损失函数，最简单的就是穿过分界线的个数$J={\text{count}}_{s\in SS}(s)(S=\{(x,y)|y(W^{T}x+b)<1\})$，但此函数不连续。另一种连续的函数跨过分界线距离之和$J=\sum _{s\in S}1-y_s(W^T{x}_s+b)(S=\{(x,y)|y(W^{T}x+b)<1\})$

每个样本的损失为$loss=max(0,1-y_s(W^T{x}_s+b))$，这时，我们得到了hinge loss（铰链损失）$loss=max(0,1-z)$

这时候我们就可以通过，将原来改写成下列公式。

$$\{\begin{array}{rll}& \arg \underset{w,b}{min}& \frac{1}{2}{w}^{T}w+C\sum _{i=1}^{n}max(0,1-y_s(W^T{x}_s+b))\\ & \text{s.t.}& 1-y_i(w^T{x}_i+b)\le 0\end{array}$$

通常情况下引入变量$\xi$，来简写这个式子

$$\{\begin{array}{rll}& \arg \underset{w,b}{min}& \frac{1}{2}{w}^{T}w+C\sum _{i=1}^n{\xi }_i\\ & \text{s.t.}& y_i(w^T{x}_i+b)\ge 1-{\xi }_i\\ & & {\xi }_i\ge 0\end{array}$$

通过这两个式子限制损失项最小值为0。如何实现的呢？
通过这种方式求最小值，使得$\xi$不能太大，也就是满足下面两个条件的最小值，如果$y_i(w^T{x}_i+b)\ge 1$，正确分类，这时候损失应为0，$\xi$最小值为0，否则迫使等号成立，即${\xi }_i=1-y_i(w^T{x}_i+b)$。经过化简即可求出(w,b)。