支持向量机（二）线性支持向量机

支持向量机（一）线性可分支持向量机

支持向量机（二）线性支持向量机

支持向量机（三）非线性支持向量机与核函数

支持向量机（四）SMO算法

目录

• 一、线性支持向量机
• 二、对偶算法
  • 1.线性支持向量机对偶算法
• 三、支持向量

一、线性支持向量机

线性可分支持向量机对线性不可分数据不适用，因为这时的不等式约束不成立。需要修改硬间隔最大化为软间隔最大化。

线性不可分意味某些样本点 $(x_i,y_i)$ 不满足函数间隔 $\ge1$ 的约束条件。可以对每个样本点 $(x_i,y_i)$ 引进一个松弛变量 $\xi_i \ge 0$，使函数间隔加上松弛变量 $\ge 1$。即：

$$y_i(\omega \cdot x_i+b) \ge 1-\xi_i$$

对每个松弛变量 $\xi_i$，支付一个代价 $\xi_i$。目标函数由原来的 $\frac{1}{2}||\omega||^2$ 变为

$$\frac{1}{2} ||\omega||^2 + C \sum_{i=1}^{N} \xi_i \tag{1}$$

$C>0$ 为惩罚参数，$C$ 值越大表示对误分类惩罚越大。

最小化目标函数 $(1)$ 的两层含义：使 $\frac{1}{2}||\omega||^2$ 尽量小即间隔尽量大，同时使误分类点的个数尽量小，$C$ 是调和二者的系数。

线性支持向量机的优化问题作为原始问题：

$$\begin{align} \tag{2} \underset{\omega,b,\xi}{min} \ \ \ \ & \frac{1}{2}||\omega||^2+C\sum_{i=1}^{N} \xi_i \\ \tag{3} s.t. \ \ \ \ & y_i(\omega \cdot x_i+b) \ge 1-\xi_i, \ \ \ \ i=1,2,...,N \\ \tag{4} & \xi_i \ge 0, \ \ \ \ i=1,2,...,N \end{align}$$

原始问题 $(2)\thicksim (4)$ 是凸二次规划问题，因而 $(\omega,b,\xi)$ 的解是存在的。且 $\omega$ 的解是唯一的，$b$ 的解可能不唯一，而是存在一个区间内。

二、对偶算法

原始问题 $(2)\thicksim (4)$ 的对偶问题

$$\begin{align} \tag{5} \underset{\alpha}{min} \ \ \ \ & \frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_{i} \alpha_{j} y_{i} y_{j}\left(x_{i} \cdot x_{j}\right)-\sum_{i=1}^{N} \alpha_{i} \\ \tag{6} s.t.\ \ \ \ & \sum_{i=1}^{N}\alpha_iy_i=0 \\ \tag{7} & 0 \le\alpha_i \le C,\ \ \ \ i=1,2,...,N \end{align}$$

原始最优化问题 $(2)\thicksim (4)$ 的拉格朗日函数是

$$L(\omega,b,\xi,\alpha,\mu)=\frac{1}{2}||\omega||^2+C\sum_{i=1}^{N}\xi_i-\sum_{i=1}^{N}\alpha_i(y_i(\omega \cdot x_i+b)-1+\xi_i)-\sum_{i=1}^{N}\mu_i\xi_i \tag{8}$$

其中，$\alpha_i \ge 0$，$\mu_i \ge 0$。

对偶问题是拉格朗日函数的极大极小问题。

首先 $L(\omega,b,\xi,\alpha,\mu)$ 对 $\omega,b,\xi$ 的极小，由

$$\bigtriangledown_\omega L(\omega,b,\xi,\alpha,\mu)=\omega-\sum_{i=1}^{N}\alpha_iy_ix_i=0$$

$$\bigtriangledown_b L(\omega,b,\xi,\alpha,\mu)=-\sum_{i=1}^{N}\alpha_iy_i=0$$

$$\bigtriangledown_{\xi_i} L(\omega,b,\xi,\alpha,\mu)=C-\alpha_i-\mu_i=0$$

得

$$\omega=\sum_{i=1}^{N}\alpha_iy_ix_i \tag{9}$$

$$\sum_{i=1}^{N}\alpha_iy_i=0 \tag{10}$$

$$C-\alpha_i-\mu_i=0 \tag{11}$$

将式 $(9)\thicksim (11)$ 代入式 $(8)$，得

$$\underset{\omega,b,\xi}{min} L(\omega,b,\xi,\alpha,\mu)=-\frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha_i\alpha_jy_iy_j(x_i \cdot x_j)+\sum_{i=1}^{N}\alpha_i$$

再对 $\underset{\omega,b,\xi}{min}\ L(\omega,b,\xi,\alpha,\mu)$ 求 $\alpha$ 的极大，即得对偶问题：

$$\begin{align} \tag{12} \underset{\alpha}{max}\ \ \ \ & -\frac{1}{2} \sum_{i=1}^{N}\sum_{j=1}^{N}\alpha_i\alpha_jy_iy_j(x_i \cdot x_j)+\sum_{i=1}^{N}\alpha_i \\ \tag{13} s.t.\ \ \ \ & \sum_{i=1}^{N}\alpha_iy_i=0 \\ \tag{14} & C-\alpha_i-\mu_i=0 \\ \tag{15} & \alpha_i \ge 0 \\ \tag{16} & \mu_i \ge 0,\ \ \ \ i=1,2,...,N \\ \end{align}$$

将对偶最优化问题 $(12)\thicksim (16)$ 进行变换；利用等式约束 $(14)$ 消去 $\mu_i$，从而只留下变量 $\alpha_i$，并将约束 $(14)\thicksim (16)$ 写成

$$0 \le \alpha_i \le C \tag{17}$$

再将目标函数求极大转换为求极小，得到对偶问题 $(5)\thicksim (7)$。通过求解对偶问题得到原始问题的解。

定理 ： 设 $\alpha^*=(\alpha_1^*,\alpha_2^*,...,\alpha_N^*)^T$ 是对偶问题的解，若存在 $\alpha^*$ 一个分量 $\alpha_j^*$，$0<\alpha_j^*<C$，按下式求原始问题的解 $\omega^*$、$b^*$ ：

$$\begin{align} \tag{18} & \omega^*=\sum_{i=1}^{N}\alpha_i^*y_ix_i \\ \tag{19} & b^*=y_j-\sum_{i=1}^{N}\alpha_i^*y_i(x_i\cdot x_j) \end{align}$$

根据 $KKT$ 条件可证明。

1.线性支持向量机对偶算法

输入：训练集 $T={(x_1,y_1),(x_2,y_2),...,(x_N,y_N)}$，其中 $y_i\in(-1,1)$

输出：分离超平面、分类决策树

① 选择惩罚参数 $C>0$，构造并求解凸二次规划问题

$$\begin{aligned} \underset{\alpha}{min}\ \ \ \ & \frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)-\sum_{i=1}^{N}\alpha_i \\ s.t.\ \ \ \ & \sum_{i=1}^{N}\alpha_iy_i=0 \\ & 0 \le \alpha_i \le C,\ \ \ \ i=1,2,...,N \end{aligned}$$

求得最优解 $\alpha^*=(\alpha_1^*,\alpha_2^*,...,\alpha_N^*)^T$。

② 计算 $\omega^*$、$b^*$。

$$\omega^*=\sum_{i=1}^{N}\alpha_i^*y_ix_i$$

选择 $\alpha^*$ 一个分量 $\alpha_j^*$，$0<\alpha_j^*<C$，计算

$$b^*=y_j-\sum_{i=1}^{N}\alpha_i^*y_i(x_i\cdot x_j)$$

③ 求得分离超平面

$$\omega^*\cdot x+b^*=0$$

分类决策函数：

$$f(x)=sign(\omega^*\cdot\ x+b^*)$$

理论上原始问题 $(2)\thicksim (3)$ 对 $b$ 的解可能不唯一，然而在实际应用中，往往只会出现算法中的情况。

三、支持向量

在线性不可分的情况下，对偶问题 $(5)\thicksim (7)$ 的解 $\alpha^*=(\alpha_1^*,\alpha_2^*,...,\alpha_N^*)^T$ 中对应 $\alpha_i^*>0$ 的样本点 $(x_i,y_i)$ 的实例 $x_i$ 称为支持向量（软间隔的支持向量）。

如下图，”○“ 表示正例，”ד 表示负例，实线表示分离超平面，虚线表示间隔边界，$\frac{\xi_i}{||\omega||}$ 表示样本 $x_i$ 到间隔边界的距离。

这时的支持向量比线性可分的情况复杂。支持向量 $x_i$ 或者在间隔边界上，或者在间隔边界与分离超平面之间，或者在分离超平面误分一侧。

若 $\alpha_i^*<C$，则 $\xi_i=0$，支持向量 $x_i$ 在间隔边界上；

若 $\alpha_i^*=C$，$0<\xi_i<1$，支持向量 $x_i$ 在间隔边界与分离超平面之间；

若 $\alpha_i^*=C$，$\xi_i=1$，$x_i$ 在分离超平面上；

若 $\alpha_i^*=C$，$\xi_i>1$，$x_i$ 在分离超平面误分类一侧。