02-33 非线性支持向量机

目录

• 非线性支持向量机
• 一、非线性支持向量机学习目标
• 二、非线性支持向量机详解
  • 2.1 多项式回归和非线性支持向量机
  • 2.2 核技巧
    • 2.2.1 核函数引入
    • 2.2.2 核函数
    • 2.2.3 核函数举例
  • 2.3 正定核函数
  • 2.4 线性核函数
  • 2.5 多项式核函数
  • 2.6 高斯核函数
  • 2.7 Sigmoid核函数
    • 2.7.1 tanh()函数
  • 2.8 核函数的选择
• 三、非线性支持向量机流程
  • 3.1 输入
  • 3.2 输出
  • 3.3 流程
• 四、非线性支持向量机优缺点
  • 4.1 优点
  • 4.2 缺点
• 五、小结

更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/p/11686958.html

非线性支持向量机

支持向量机分为三种，线性可分支持向量机和线性支持向量机都是对线性可分的数据做处理，线性支持向量机也仅仅是对异常值做处理，并不是真正的对非线性可分数据做处理，接下来将会介绍支持向量机的第三种方法非线性支持向量机（non-linear support vector machine）。

一、非线性支持向量机学习目标

1. 核技巧
2. 正定核函数
3. 常用的4个核函数
4. 非线性支持向量机的步骤

二、非线性支持向量机详解

2.1 多项式回归和非线性支持向量机

曾在线性回归中讲到过多项式回归，此处只做简单回顾。

假设一个正方体的房子的价格与房子的边长、房子的占地面积和房子的体积有关系，然而现在只有房子的边长x1$x_1$一个特征，如果只拿特征去预测房子的价格，则有很大可能会欠拟合，因此需要增加房子的占地面积和体积这两个特征，即

y^=ω1x1+ω2x12+ω3x13+b$$\hat{y}={\omega }_1{x}_1+{\omega }_2{x_1}^2+{\omega }_3{x_1}^3+b$$

令x1=x1,x2=x12,x3=x13$x_1=x_1,x_2={x_1}^2,x_3={x_1}^3$，则多项式的线性模型变成

y^=ω1x1+ω2x2+ω3x3+b$$\hat{y}={\omega }_1{x}_1+{\omega }_2{x}_2+{\omega }_3{x}_3+b$$

通过上述转变可以看到把线性回归转换成多项式回归之后又变回了线性回归，即对于一维不是线性的数据，把它映射到了三维之后，数据则变成了线性的数据。

其实非线性支持向量机即运用了这个思想，即非线性支持向量机把低维特征数据映射到高维，让数据变得线性可分，此时问题就变成了线性可分的数据分类问题。

2.2 核技巧

2.2.1 核函数引入

首先回顾线性支持向量机的目标函数的优化问题为

minα12∑i=1m∑j=1mαiαjyiyj(xixj)−∑i=1mαis.t.∑i=1mαiyi=00≤αi≥C(1)(2)(3)$$\begin{array}{}\text{(1)}& & \underset{\alpha }{\underbrace{min}}\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i{x}_j)-\sum _{i=1}^m{\alpha }_i\text{(2)}& & s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0\text{(3)}& & 0\le {\alpha }_i\ge C\end{array}$$

从上式可以发现线性支持向量机的目标函数对于特征的处理是以xixj$x_i{x}_j$的形式出现的，此时如果定义一个低维特征空间到高维特征空间的映射函数ϕ(x)$\varphi (x)$，让所有特征映射到一个更高的维度，让数据线性可分，因此则可以继续按照线性支持向量机的方法优化目标函数，进而求出分离超平面和分类决策函数，即线性支持向量机的目标函数的优化问题变成了

minα12∑i=1m∑j=1mαiαjyiyj(ϕ(xi)ϕ(xj))−∑i=1mαis.t.∑i=1mαiyi=00≤αi≥C(4)(5)(6)$$\begin{array}{}\text{(4)}& & \underset{\alpha }{\underbrace{min}}\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j(\varphi (x_i)\varphi (x_j))-\sum _{i=1}^m{\alpha }_i\text{(5)}& & s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0\text{(6)}& & 0\le {\alpha }_i\ge C\end{array}$$

可以发现使用该方法貌似完美的解决了该问题，并且由于只是改动了数据的特征维度，但是之前一直使用的数据都是测试数据，如果真的到了生产上，那么特征可能不仅仅就是1个、2个，而是成千上万个，如果再对特征进行映射处理，那么特征的维度的快速增加，计算强度也随之增加，而且遇到无穷维的特征，那么根本无法计算，所以这并不是很合理的。而核函数则很好的解决了计算量大的问题。

2.2.2 核函数

设X$X$是低维输入空间（欧式空间Rn$R^n$的子集或离散集合），H$H$为高维特征空间（希尔伯特空间），若果存在一个从X$X$到H$H$的映射ϕ(x):X→H$\varphi (x):X\to H$使得对所有的x,z∈X$x,z\in X$，函数K(x,z)$K(x,z)$满足条件

K(x,z)=ϕ(x)ϕ(z)$$K(x,z)=\varphi (x)\varphi (z)$$

则称K(x,z)$K(x,z)$为核函数，ϕ(x)$\varphi (x)$为映射函数，式中的ϕ(x)ϕ(z)$\varphi (x)\varphi (z)$为ϕ(x)$\varphi (x)$和ϕ(z)$\varphi (z)$的内积。

由于x,z∈X$x,z\in X$，在计算K(x,z)$K(x,z)$的时候是在低维输入空间Rn$R^n$中直接计算的，而不是通过ϕ(x)ϕ(z)$\varphi (x)\varphi (z)$计算出K(x,z)$K(x,z)$，因为ϕ$\varphi$是输入空间Rn$R^n$到特征空间H$H$的映射，特征空间H$H$一般是高维的，甚至是无穷维的，并且就算给定了核K(x,z)$K(x,z)$，特征空间和映射函数也不是唯一的，可以有多种不同的映射关系即不同的特征空间，即使是在同一特征空间里也可以取不同的映射关系。

总而言之核函数的好处在于它在低维空间上计算，而将实质上的分类效果即内及计算表现在了高维空间中，因此避免了直接在高维中的复杂计算。

通过使用核函数K(x,z)$K(x,z)$后非线性支持向量机的分离超平面为

∑i=1m∑i=1mαi∗yiK(x,xi)+b∗=0$$\sum _{i=1}^m\sum _{i=1}^m{{\alpha }_i}^{\ast }{y}_{i}K(x,x_i)+b^{\ast }=0$$

分类决策函数为

f(x)=sign(∑i=1mαi∗yiK(x,xi)+b∗)$$f(x)=sign(\sum _{i=1}^m{{\alpha }_i}^{\ast }{y}_{i}K(x,x_i)+b^{\ast })$$

2.2.3 核函数举例

假设输入空间是R2$R^2$，核函数是K(x,z)=(xz)2$K(x,z)=(xz{)}^2$，则可以通过上述信息找到特征空间H$H$和映射ϕ(x):R2→H$\varphi (x):R^2\to H$。

取特征空间H=R3$H=R^3$，由于输入空间是二维的，记x=(x1,x2)T$x=(x_1,x_2{)}^T$，z=(z1,z2)T$z=(z_1,z_2{)}^T$，由于

(xz)2=(x1z1+x2z2)2=(x1z1)2+2x1z1x2z2+(x2z2)2$$(xz{)}^2=(x_1{z}_1+x_2{z}_2{)}^2=(x_1{z}_1{)}^2+2x_1{z}_1{x}_2{z}_2+(x_2{z}_2{)}^2$$

即得映射为

ϕ(x)=((x1)2,2–√x1x2,(x2)2)T$$\varphi (x)=((x_1{)}^2,\sqrt{2}{x}_1{x}_2,(x_2{)}^2{)}^T$$

容易验证

ϕ(x)ϕ(z)=(xz)2=K(x,z)$$\varphi (x)\varphi (z)=(xz{)}^2=K(x,z)$$

如果特征空间还是为H=R3$H=R^3$，可得映射为

ϕ(x)=12–√((x1)2−(x2)2,2x1x2,(x1)2+(x2)2)T$$\varphi (x)=\frac{1}{\sqrt{2}}((x_1{)}^2-(x_2{)}^2,2x_1{x}_2,(x_1{)}^2+(x_2{)}^2{)}^T$$

同样容易验证

ϕ(x)ϕ(z)=(xz)2=K(x,z)$$\varphi (x)\varphi (z)=(xz{)}^2=K(x,z)$$

如果特征空间为H=R4$H=R^4$，可得映射为

ϕ(x)=((x1)2,x1x2,x1x2,(x2)2)T$$\varphi (x)=((x_1{)}^2,x_1{x}_2,x_1{x}_2,(x_2{)}^2{)}^T$$

2.3 正定核函数

如果已知映射ϕ(x)$\varphi (x)$，可以通过ϕ(x)$\varphi (x)$和ϕ(z)$\varphi (z)$的内积求得核函数，但是不构造映射能否直接判断一个给定的函数是不是核函数呢？下面将讲述函数得满足什么条件才能成为一个核函数。

一般情况下核函数都称作正定核函数（positive definite kernel function），此处将直接说明正定核函数的充要条件。一个函数想要成为一个正定核函数，必须满足它里面的任何点的集合形成的Gram矩阵是半正定的，即对于任意的xi∈X,i=1,2,…,m$x_i\in X,i=1,2,\dots ,m$，K(xi,xj)$K(x_i,x_j)$对应的Gram矩阵K=[K(xi,xj)]m∗m$K=[K(x_i,x_j){]}_{m\ast m}$是半正定矩阵，则K(x,x)$K(x,x)$是正定核函数。

由于寻找某个函数是否为核函数的过程是非常困难的，此处不多赘述。并且牛人们已经找到了很多核函数，但在实际问题中常用的核函数就只有几个，接下来将只介绍工业上常用的几个核函数，同时这些核函数也是sklearn库中仅有的几个核函数。

2.4 线性核函数

线性核函数（linear kernel）本质上就是线性支持向量机，既可以把线性支持向量机称作使用线性核函数的非线性支持向量机，线性核函数的表达式为

K(x,z)=xz$$K(x,z)=xz$$

在此情形下，分类决策函数为

f(x)=sign(∑i=1mαi∗yi(xxi)+b∗)$$f(x)=sign(\sum _{i=1}^m{{\alpha }_i}^{\ast }{y}_i(x{x}_i)+b^{\ast })$$

2.5 多项式核函数

多项式核函数（polynomial kernel）是线性支持向量机常用的核函数之一，表达式为

K(x,z)=(γxz+r)d$$K(x,z)=(\gamma xz+r{)}^d$$

其中γ,r,d$\gamma ,r,d$都是超参数。

在此情形下，分类决策函数为

f(x)=sign(∑i=1mαi∗yi((γxxi+r)d)+b∗)$$f(x)=sign(\sum _{i=1}^m{{\alpha }_i}^{\ast }{y}_i((\gamma x{x}_i+r{)}^d)+b^{\ast })$$

2.6 高斯核函数

高斯核函数（Gaussian kernel）对应的支持向量机是高斯径向基函数（radial basis function，RBF）分类器，它是非线性支持向量机最主流的核函数，表达式为

K(x,z)=e−γ||x−z||2,γ>0$$K(x,z)=e^{-\gamma {||x-z||}^2},\gamma >0$$

其中γ$\gamma$是超参数。

在此情形下，分类决策函数为

f(x)=sign(∑i=1mαi∗yi(eγ||x−xj||2)+b∗)$$f(x)=sign(\sum _{i=1}^m{{\alpha }_i}^{\ast }{y}_i(e^{\gamma {||x-x_j||}^2})+b^{\ast })$$

2.7 Sigmoid核函数

Sigmoid核函数（sigmoid kernel）也是线性支持向量机常用的核函数之一，表达式为

K(x,z)=tanh(γxz+r)$$K(x,z)=\tanh (\gamma xz+r)$$

其中γ,r$\gamma ,r$都是超参数，tanh()$\tanh ()$为双曲正切函数（注：该函数图形类似于Sigmoid函数，至于为什么还要称作Sigmoid核函数，你可以问问sklearn的作者）。

在此情形下，分类决策函数为

f(x)=sign(∑i=1mαi∗yi(tanhγxxj+r)+b∗)$$f(x)=sign(\sum _{i=1}^m{{\alpha }_i}^{\ast }{y}_i(\tanh \gamma x{x}_j+r)+b^{\ast })$$

2.7.1 tanh()函数

# tanh()函数图例
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
x = np.linspace(-5, 5, 666)

y = np.tanh(x)
plt.plot(x, y, label='tanh()')

plt.xlabel('x')

plt.ylabel('y')

plt.legend()

plt.show()

2.8 核函数的选择

1. 如果Feature的数量很大，跟样本数量差不多，这时候选用LR或者是Linear Kernel的SVM
2. 如果Feature的数量比较小，样本数量一般，不算大也不算小，选用SVM+Gaussian Kernel
3. 如果Feature的数量比较小，而样本数量很多，需要手工添加一些feature变成第一种情况
4. 如果无法确定使用哪个核函数，可以所有的核函数都测试几次，然后判定哪个核函数更适合

三、非线性支持向量机流程

3.1 输入

有m$m$个样本的线性可分训练集T={(x1,y1),(x2,y2),⋯,(xm,ym)}$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_m,y_m)\}$，其中xi$x_i$为n$n$维特征向量，yi$y_i$为二元输出即值为1$1$或者−1$-1$。

3.2 输出

分离超平面的参数w∗$w^{\ast }$和b∗$b^{\ast }$以及分类决策函数

3.3 流程

1. 选择适当的核函数K(x,z)$K(x,z)$和一个惩罚系数C>0$C>0$，构造约束优化问题为

minα12∑i=1m∑j=1mαiαjyiyj(K(xi,xj))−∑i=1mαis.t.∑i=1mαiyi=00≥αi≤C,i=1,2,…,m(7)(8)(9)$$\begin{array}{}\text{(7)}& & \underset{\alpha }{\underbrace{min}}\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j(K(x_i,x_j))-\sum _{i=1}^m{\alpha }_i\text{(8)}& & s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0\text{(9)}& & 0\ge {\alpha }_i\le C,i=1,2,\dots ,m\end{array}$$

2. 使用SMO算法求出上式最小时对应的α∗${\alpha }^{\ast }$
3. 计算w∗$w^{\ast }$为

w∗=∑i=1mα∗yiϕ(xi)$$w^{\ast }=\sum _{i=1}^m{\alpha }^{\ast }{y}_i\varphi (x_i)$$

4. 找到所有的S$S$个支持向量，即满足0<αi∗<C$0<{{\alpha }_i}^{\ast }<C$的样本(xs,ys)$(x_s,y_s)$，通过ys(∑Si=1αi∗yiK(xi,xs)+b∗)−1=0$y_s(\sum _{i=1}^S{{\alpha }_i}^{\ast }{y}_{i}K(x_i,x_s)+b^{\ast })-1=0$计算出每个支持向量对应的b∗$b^{\ast }$，计算出这些所有的b∗$b^{\ast }$的平均值即为最终的b∗=1S∑Si=1b∗$b^{\ast }=\frac{1}{S}\sum _{i=1}^S{b}^{\ast }$。
5. 求得分离超平面为

∑i=1mαi∗yiK(x,xi)+b∗=0$$\sum _{i=1}^m{{\alpha }_i}^{\ast }{y}_{i}K(x,x_i)+b^{\ast }=0$$

6. 求得分类决策函数为

f(x)=sign(∑i=1mαi∗yiK(x,xi)+b∗)$$f(x)=sign(\sum _{i=1}^m{{\alpha }_i}^{\ast }{y}_{i}K(x,x_i)+b^{\ast })$$

线性支持向量机的步骤和线性可分支持向量机的步骤大致相同，由于线性支持向量机使用了松弛因子，两者之间最大的不同点在于对b∗$b^{\ast }$值的考虑。

四、非线性支持向量机优缺点

4.1 优点

1. 可以对非线性可分的数据分类

4.2 缺点

1. 只支持二分类问题，对于多分类问题需要使用OvR等其他辅助方法
2. 支持分类问题不支持回归问题

五、小结

非线性支持向量机借用了多项式回归的思想，把数据映射到高维空间，让数据从线性不可分变得线性可分。又由于核函数的使用，它不需要在数据集映射到高维之后再去计算特征之间的关系，而是在数据映射之前就能够计算特征之间的关系，这也正是核函数的巧妙之处。

线性支持向量机其实还是有一个很大的问题，人们总是追求完美，如果这么13的算法既能够支持分类问题，又能够支持回归问题那岂不是上天了，这种算法有是一定有的，即支持向量回归(support vector regression, SVR)。