[模式识别复习笔记] 第4章 SVM

1. SVM 简介

1.1 SVM 支持向量机

给定如图所示的线性可分训练集，能够将两类样本正确分开的直线很多。 感知机算法可以找到一条直线，且找到的直线不唯一。

然而感知机无法确定哪一条直线最优，但是 $\text{SVM}$ 可以。 $\text{SVM}$ 可以找到能够将训练样本正确分类的直线中 具有最大间隔 的那条直线。

1.2 间隔

• 点到超平面的垂直距离

  给定一个分割超平面 $w^{\text{T}}x+b=0$，线性判别函数 $g(x)=w^{\text{T}}x+b=0$ 将整个特征空间分为两个决策域：$g(x)>0$ 和 $g(x)<0$。

  

• 间隔

  给定一个训练数据集 $\{(x_1,y_1),(x_2,y_2),\dots ,(x_N,y_N)\}$，$x_i\in {\mathbb{R}}^d$, $y_i\in \{+1,-1\}$。

  超平面 $w^{\text{T}}x+b=0$ 关于 样本点 $(x_i,y_i)$ 间隔：

  $$r_i=\frac{w^{\text{T}}x+b}{||w||}$$

  超平面 $w^{\text{T}}x+b=0$ 关于训练集 的 间隔：

  $$r_{min}=\underset{i=1,\dots ,N}{min}{r}_i$$

  即 所有样本点的间隔中的最小间隔。

2. 线性 $\text{SVM}$ (硬间隔)

2.1 问题描述

$\text{SVM}$ 思想： 寻找能够 正确划分训练数据集 并且 在训练数据集上具有最大间隔 的超平面。

PS：上图中左图的间隔小于右图中的间隔，所以右图的超平面更优。

间隔最大化，即将训练集中距离超平面最近的样本点，能够以最大的置信度分类。（最小间隔最大化）。 训练集中具有 最小间隔的样本点 称为 支持向量。

2.2 形式化描述

$\text{SVM}$ 形式化描述：

• 假设训练数据集线性可分

• 找到一个划分超平面 $w^{\text{T}}x+b=0$，满足：

  1. 正确划分训练样本。即 $\mathrm{\forall }i=1,\dots ,N$，有 $y_i(w^{\text{T}}{x}_i+b)>0$。

  2. 最大化训练集上的间隔（最小间隔最大化）

     $$\underset{w,b}{max}(\underset{i=1,\dots ,N}{min}\frac{|w^{\text{T}}{x}_i+b|}{||w||})$$

• 由 $|w^{\text{T}}{x}_i+b|=y_i(w^{\text{T}}{x}_i+b)$，则：

  $$\underset{w,b}{max}(\underset{i=1,\dots ,N}{min}\frac{|w^{\text{T}}{x}_i+b|}{||w||})=\underset{w,b}{max}(\frac{1}{||w||}\underset{i=1,\dots ,N}{min}{y}_i(w^{\text{T}}{x}_i+b))$$

• 令 $\underset{i=1,\dots ,N}{min}{y}_i(w^{\text{T}}{x}_i+b)=1$，则：

  $$\mathrm{\forall }i,y_i(w^{\text{T}}{x}_i+b)\ge 1$$

• 原优化问题等价于：

  $$\begin{array}{rl}& \underset{w,b}{max}\frac{1}{||w||}\\ \\ & \text{s.t.}{y}_i(w^{\text{T}}{x}_i+b)\ge 1,\mathrm{\forall }i=1,\dots ,N\end{array}$$

• 由于：

  $${\text{argmax}}_w\frac{1}{||w||}={\text{argmin}}_w\frac{1}{2}||w|{|}^2$$

  原问题等价于：

  $$\begin{array}{rl}& \underset{w,b}{min}\frac{1}{2}||w|{|}^2\\ \\ & \text{s.t.}{y}_i(w^{\text{T}}{x}_i+b)\ge 1,\mathrm{\forall }i=1,\dots ,N\end{array}$$

  此问题为凸二次规划问题。由此得到 硬间隔最大化 的表达式。

求解上述优化问题得到最优解 $w^{\ast }$, $b^{\ast }$。划分超平面为 ${w^{\ast }}^{\text{T}}x+b^{\ast }=0$，分类决策函数 $f(x)=\text{sign}({w^{\ast }}^{\text{T}}x+b^{\ast })$。

训练集中具有 最小间隔的样本点 称为 支持向量。满足：

$$y_i({w^{\ast }}^{\text{T}}x+b^{\ast })=1$$

故支持向量到划分超平面的距离为 $\frac{1}{||w^{\ast }||}$。

• 对于正类（$y_i=+1$）的支持向量，有：

  $${w^{\ast }}^{\text{T}}x+b^{\ast }=1$$

• 对于负类（$y_i=-1$）的支持向量，有：

  $${w^{\ast }}^{\text{T}}x+b^{\ast }=-1$$

在决定分类决策超平面的位置时，只有支持向量起作用，其它样本点不起作用，即使删除这些样本点，也不影响分类决策边界。所以这种分类模型称为“支持向量机”。

2.3 对偶优化问题

• $\text{SVM}$ 原始优化问题：

  $$\begin{array}{rl}& \underset{w,b}{min}\frac{1}{2}||w|{|}^2\\ \\ & \text{s.t.}{y}_i(w^{\text{T}}{x}_i+b)\ge 1,\mathrm{\forall }i=1,\dots ,N\end{array}$$

• 推导出其 对偶优化问题：

  引入拉格朗日乘子 $\alpha \ge 0$，定义拉格朗日函数：

  $$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^N{\alpha }_i(1-y_i(w^{\text{T}}{x}_i+b))$$

  对偶优化目标函数为：

  $${\theta }_D(\alpha )=\underset{w,b}{min}L(w,b,\alpha )$$

  令 $L(w,b,\alpha )$ 关于 $w$ 和 $b$ 的偏导数分别为 $0$:

  $${\mathrm{\nabla }}_{w}L(w,b,\alpha )=0\to w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$
  $${\mathrm{\nabla }}_{b}L(w,b,\alpha )=0\to \sum _{i=1}^N{\alpha }_i{y}_i=0$$

  带入拉格朗日函数 得：

  $${\theta }_D(\alpha )=\frac{1}{2}(\sum _{i=1}^N{\alpha }_i{y}_i{x}_i{)}^{\text{T}}(\sum _{i=1}^N{\alpha }_i{y}_i{x}_i)+\sum _{i=1}^N{\alpha }_i-(\sum _{i=1}^N{\alpha }_i{y}_i{x}_i{)}^{\text{T}}(\sum _{i=1}^N{\alpha }_i{y}_i{x}_i)-\sum _{i=1}^N{\alpha }_i{y}_{i}b$$

  化简得到：

  $${\theta }_D(\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^{\text{T}}{x}_j+\sum _{i=1}^N{\alpha }_i$$

  由于 ${\text{argmax}}_{\alpha }{\theta }_D(\alpha )$ 等价于 ${\text{argmin}}_{\alpha }-{\theta }_D(\alpha )$，故 $\text{SVM}$ 的对偶优化问题为：

  $$\begin{array}{rl}& \underset{\alpha }{min}\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^{\text{T}}{x}_j-\sum _{i=1}^N{\alpha }_i\\ \\ & s.t.{\alpha }_i\ge 0,\mathrm{\forall }i=1,\dots ,N\\ \\ & \sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$

• 通过上述对偶问题求解出 ${\alpha }^{\ast }$，由此构造出划分超平面的 $w^{\ast }$ 和 $b^{\ast }$

  将 ${\alpha }^{\ast }$ 带入得：

  $$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$
  $$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0$$

  由 $\text{KKT}$ 条件得到：

  • 对偶互补条件：

    $${\alpha }_i^{\ast }(1-y_i({w^{\ast }}^{\text{T}}{x}_i+b^{\ast }))=0,i=1,\dots ,N$$

  • 原问题约束：

    $$y_i({w^{\ast }}^{\text{T}}{x}_i+b^{\ast })\ge 1,i=1,\dots ,N$$

  • 对偶约束：

    $$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0$$
    $${\alpha }_i^{\ast }\ge 0,i=1,\dots ,N$$

  
  

  根据上述的 $\text{KKT}$ 条件可得，至少有一个拉格朗日乘子 ${\alpha }_j>0$。

  若所有拉格朗日乘子都满足 ${\alpha }_i=0$，则 $w^{\ast }=0$，这不是问题的可行解，故矛盾。

  由 ${\alpha }_j\ne 0$，得 $1-y_j({w^{\ast }}^{\text{T}}{x}_i+b^{\ast })=0$，结合 $y_j^2=1$ 可得：

  $$b^{\ast }=y_j-{w^{\ast }}^{\text{T}}{x}_j=y_j-\sum _{i=1}^N{\alpha }^{\ast }{y}_i{x}_i^T{x}_j$$

• 综上，若 $\text{SVM}$ 对偶问题得最优解为 ${\alpha }^{\ast }=({\alpha }_1^{\ast },\cdots ,{\alpha }_N^{\ast })$，则存在 ${\alpha }_j^{\ast }>0$，由此求得最优解：

$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i^{\text{T}}{x}_j$$

最后，得到划分超平面 ${w^{\ast }}^{\text{T}}x+b^{\ast }=0$，分类决策函数为 $f(x)=\text{sign}({w^{\ast }}^{\text{T}}x+b^{\ast })$。

3. 线性 $\text{SVM}$ (软间隔)

3.1 问题描述

数据集中存在少量的噪声/异常样本点，导致数据集线性不可分。

3.2 形式化描述

数据集中存在少量样本点 $(x_i,y_i)$，不能满足 $y_i(w^{\text{T}}{x}_i+b)\ge 1$。因此，可以对每个样本引入一个 松弛变量 ${\xi }_i\ge 0$，使得 $y_i(w^{\text{T}}{x}_i+b)\ge 1-{\xi }_i$，同时 最小化 松弛变量 ${\xi }_i$ 的取值。由此优化问题变为：

$$\begin{array}{rl}& \underset{w,b,\xi }{min}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i\\ \\ & \text{s.t.}{y}_i(w^{\text{T}}x+b)\ge 1-{\xi }_i,\mathrm{\forall }i=1,\dots ,N\\ \\ & {\xi }_i\ge 0,\mathrm{\forall }i=1,\dots ,N\end{array}$$

也就是 软间隔最大化 的表达式。

$C>0$ 是一个预定义的常数，称为 惩罚系数，$C$ 值越大表明对误分类的惩罚越大。

$C$ 越大，意味着要求更多样本以足够大的置信度被正确分类；$C$ 越小（$C\to 0$），意味着允许更多的样本被错误分类。

对于近似线性可分的数据集，绝大部分样本点对应的松弛变量 ${\xi }_i=0$，少部分异常点 ${\xi }_i>0$。

3.3 对偶优化问题

• 原始优化问题：

  $$\begin{array}{rl}& \underset{w,b,\xi }{min}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i\\ \\ & \text{s.t.}{y}_i(w^{\text{T}}{x}_i+b)\ge 1-{\xi }_i,\mathrm{\forall }i=1,\dots ,N\\ \\ & {\xi }_i\ge 0,i=1,\dots ,N\end{array}$$

• 推导出 对偶优化问题：

  1. 定义拉格朗日函数，引入拉格朗日乘子 $\alpha \ge 0$, $\beta \ge 0$：
  $$L(w,b,\xi ,\alpha ,\beta )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\alpha }_i(1-{\xi }_i-y_i(w^{\text{T}}{x}_i+b))-\sum _{i=1}^N{\beta }_i{\xi }_i$$
  2. 对偶优化目标函数：
  $${\theta }_D(\alpha ,\beta )=\underset{w,b,\xi }{min}L(w,b,\xi ,\alpha ,\beta )$$

  令 $L$ 关于 $w,b,{\xi }_i$ 的偏导数分别为 $0$:

  $${\mathrm{\nabla }}_{w}L(w,b,\xi ,\alpha ,\beta )=0\to w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$
  $${\mathrm{\nabla }}_{b}L(w,b,\xi ,\alpha ,\beta )=0\to \sum _{i=1}^N{\alpha }_i{y}_i=0$$
  $${\mathrm{\nabla }}_{{\xi }_i}L(w,b,\xi ,\alpha ,\beta )=0\to C={\alpha }_i+{\beta }_i,\mathrm{\forall }i=1,\dots ,N$$

  带入拉格朗日函数 得：

  $$\begin{array}{r}{\theta }_D(\alpha ,\beta )=\frac{1}{2}(\sum _{i=1}^N{\alpha }_i{y}_i{x}_i{)}^{\text{T}}(\sum _{i=1}^N{\alpha }_i{y}_i{x}_i)+C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N{\alpha }_i{\xi }_i-(\sum _{i=1}^N{\alpha }_i{y}_i{x}_i{)}^{\text{T}}(\sum _{i=1}^N{\alpha }_i{y}_i{x}_i)\\ \\ -b\sum _{i=1}^N{\alpha }_i{y}_i-\sum _{i=1}^N{\beta }_i{\xi }_i\end{array}$$

  整理得到：

  $${\theta }_D(\alpha ,\beta )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^{\text{T}}{x}_j+\sum _{i=1}^N{\alpha }_i$$

  （可以发现和线性SVM一样的表达式）

  由于 ${\text{argmax}}_{\alpha ,\beta }{\theta }_D(\alpha ,\beta )$ 等价于 ${\text{argmin}}_{\alpha ,\beta }-{\theta }_D(\alpha ,\beta )$，故 $\text{SVM}$ 的对偶优化问题为：

  $$\begin{array}{rl}& \underset{\alpha }{min}\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^{\text{T}}{x}_j-\sum _{i=1}^N{\alpha }_i\\ \\ & \text{s.t.}{\alpha }_i\ge 0,{\beta }_i\ge 0,\mathrm{\forall }i=1,\dots ,N\\ \\ & \sum _{i=1}^N{\alpha }_i{y}_i=0\\ \\ & {\alpha }_i+{\beta }_i=C,\mathrm{\forall }i=1,\dots ,N\end{array}$$

  去掉有关 $\beta$ 的信息，由 $C-{\alpha }_i={\beta }_i\ge 0$，可以将对偶优化问题化简如下：

  $$\begin{array}{rl}& \underset{\alpha }{min}\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^{\text{T}}{x}_j-\sum _{i=1}^N{\alpha }_i\\ \\ & \text{s.t.}0\le {\alpha }_i\le C,\mathrm{\forall }i=1,\dots ,N\\ \\ & \sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$

• 通过上述对偶问题求解出 ${\alpha }^{\ast }$，由此构造出划分超平面的 $w^{\ast }$ 和 $b^{\ast }$

  将 ${\alpha }^{\ast }$ 带入得：

  $$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$
  $$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0$$
  $${\alpha }_i^{\ast }+{\beta }_i^{\ast }=C,\mathrm{\forall }i=1,\dots ,N$$

  由 $\text{KKT}$ 条件得到：

  • 对偶互补条件：

    $${\alpha }_i^{\ast }(1-{\xi }_i^{\ast }-y_i({w^{\ast }}^{\text{T}}{x}_i+b^{\ast }))=0,\mathrm{\forall }i=1,\dots ,N$$
    $${\beta }_i^{\ast }{\xi }_i^{\ast }=0,\mathrm{\forall }i=1,\dots ,N$$

  • 原问题约束：

    $$y_i({w^{\ast }}^{\text{T}}{x}_i+b^{\ast })\ge 1-{\xi }_i^{\ast },i=1,\dots ,N$$
    $${\xi }_i^{\ast }\ge 0,\mathrm{\forall }i=1,\dots ,N$$

  • 对偶约束：

    $$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0$$
    $$0\le {\alpha }_i^{\ast }\le C,i=1,\dots ,N$$

  
  

  根据上述条件可得：

  • 若 ${\alpha }_j^{\ast }>0$，则 $y_j({w^{\ast }}^{\text{T}}{x}_j+b^{\ast })=1-{\xi }_i^{\ast }$

  • 若 ${\alpha }_j^{\ast }<C$，则 ${\beta }_j^{\ast }>0$，故 ${\xi }_j^{\ast }=0$

  故当 $0<{\alpha }_j^{\ast }<C$ 时，有 $y_j({w^{\ast }}^{\text{T}}{x}_j+b^{\ast })=1$。

• 综上，若 $\text{SVM}$ 对偶问题得最优解为 ${\alpha }^{\ast }=({\alpha }_1^{\ast },\cdots ,{\alpha }_N^{\ast })$，则存在 $0<{\alpha }_j^{\ast }<C$，由此求得最优解：

$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i^{\text{T}}{x}_j$$

最后，得到划分超平面 ${w^{\ast }}^{\text{T}}x+b^{\ast }=0$，分类决策函数为 $f(x)=\text{sign}({w^{\ast }}^{\text{T}}x+b^{\ast })$。

3.4 推论

• 若 ${\alpha }_i^{\ast }=0$，则 ${\beta }_i^{\ast }=C\to {\xi }_i^{\ast }=0\to y_i({w^{\ast }}^{\text{T}}{x}_i+b^{\ast })\ge 1$。

  此时 ${\alpha }_i^{\ast }$ 对应的 $(x_i,y_i)$ 能以充分的置信度被正确分类。

• 若 $0<{\alpha }_i^{\ast }<C$，则 $y_i({w^{\ast }}^{\text{T}}{x}_i+b)=1$。

  对应的 $(x_i,y_i)$ 是支持向量，在间隔边界上。

• 若 ${\alpha }_i^{\ast }=C$，则 ${\beta }_i^{\ast }=0\to {\xi }_i^{\ast }\ge 0$。

  • 若 $0<{\xi }_i<1$，则 $y_i({w^{\ast }}^{\text{T}}{x}_i+b^{\ast })\ge 1-{\xi }_i^{\ast }>0$，表明 可以被正确分类，但没有充分的置信度。

  • 若 ${\xi }_i\ge 1$，则 $y_i({w^{\ast }}^{\text{T}}{x}_i+b^{\ast })\ge 1-{\xi }_i^{\ast },1-{\xi }_i^{\ast }\le 0$，此时对应的样本点被 错误分类。

4. 核函数 $\text{SVM}$

4.1 问题描述

有时候问题本质上就线性不可分，原本的样本空间不存在一个可以正确划分两类样本的划分超平面。而需要一个超曲面才可以将样本分开。

对于 线性不可分 问题，可以将样本空间映射到一个 更高维度 的空间，使得样本在此特征空间内线性可分。（广义线性化）

4.2 对偶优化问题

将原始空间样本 $x_i$ 经过映射后变为 $\mathrm{\Phi }(x_i)$。

其对应的 对偶问题 为：

$$\begin{array}{rl}& \underset{\alpha }{min}\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\mathrm{\Phi }(x_i{)}^{\text{T}}\mathrm{\Phi }(x_j)-\sum _{i=1}^n{\alpha }_i\\ \\ & \text{s.t.}\sum _{i=1}^n{\alpha }_i{y}_i=0,\\ \\ & 0\le {\alpha }_i\le C,\mathrm{\forall }i=1,...,N\end{array}$$

综上，若 $\text{SVM}$ 对偶问题得最优解为 ${\alpha }^{\ast }=({\alpha }_1^{\ast },\cdots ,{\alpha }_N^{\ast })$，则存在 $0<{\alpha }_j^{\ast }<C$，由此求得最优解：

$$w^{\ast }=\sum _{i=1}^N{\alpha }_i{y}_i\mathrm{\Phi }(x_i)$$

$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\mathrm{\Phi }(x_i{)}^{\text{T}}\mathrm{\Phi }(x_j)$$

最后，得到划分超平面 ${w^{\ast }}^{\text{T}}\mathrm{\Phi }(x)+b^{\ast }=0$，分类决策函数为 $f(x)=\text{sign}({w^{\ast }}^{\text{T}}\mathrm{\Phi }(x)+b^{\ast })$。

式中涉及到计算 $\mathrm{\Phi }(x_i{)}^{\text{T}}\mathrm{\Phi }(x_j)$，由于特征空间维数可能很高，计算往往会非常困难。

所以这里可以设想一个函数：

$$\kappa (x_i,x_j)=⟨\mathrm{\Phi }(x_i),\mathrm{\Phi }(x_j)⟩=\mathrm{\Phi }(x_i{)}^{\text{T}}\mathrm{\Phi }(x_j)$$

即 $x_i$ 和 $x_j$ 在 特征空间的内积等于它们在原始的样本空间中通过 函数 $\kappa$ 计算得出的结果。这就避免了高维度的计算，也就是采用了 核技巧。

由此 对偶问题 可以重写为：

$$\begin{array}{rl}& \underset{\alpha }{min}\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa (x_i,x_j)-\sum _{i=1}^n{\alpha }_i\\ \\ & \text{s.t.}\sum _{i=1}^n{\alpha }_i{y}_i=0,\\ \\ & 0\le {\alpha }_i\le C,\mathrm{\forall }i=1,...,N\end{array}$$

由此求得最优解：

$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\mathrm{\Phi }(x_i)$$

$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\kappa (x_i,x_j)$$

分类决策函数为:

$$f(x)=\text{sign}({w^{\ast }}^{\text{T}}\mathrm{\Phi }(x)+b^{\ast })=\text{sign}(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\kappa (x_i,x)+b^{\ast })$$

4.3 常用核函数

然而一般情况下，我们不知道 $\mathrm{\Phi }$ 的具体形式。我们有如下定理：

令 $\chi$ 为输入空间，$\kappa$ 为定义在 $\chi \times \chi$ 的对称函数，则 $\kappa$ 是 核函数 当且仅当 对于任意数据 $D=\{x_1,x_2,...,x_n\}$ ，核矩阵 ($\text{kernel}$ $\text{matrix}$) $K$ 总是半正定的:

$$K=\left[\begin{array}{ccc}\kappa (x_1,x_1)& \cdots & \kappa (x_1,x_n)\\ \\ ⋮& \ddots & ⋮\\ \\ \kappa (x_n,x_1)& \cdots & \kappa (x_n,x_n)\end{array}\right]$$

只要一个对称函数对应的核矩阵半正定，其可作为 核函数 使用。

常用核函数：

• 线性核函数

$$\kappa (x_i,x_j)=x_i^T{x}_j$$

• 多项式核函数

$$\kappa (x_i,x_j)=(x_i^T{x}_j{)}^d,d\ge 1$$

• 高斯核函数(也称径向基RBF函数)

$$\kappa (x_i,x_j)=\text{exp}(-\frac{||x_i-x_j|{|}_2^2}{2{\sigma }^2}),\sigma >0$$

• 拉普拉斯核函数*

$$\kappa (x_i,x_j)=\text{exp}(-\frac{||x_i-x_j|{|}_1}{\sigma }),\sigma >0$$

• $\text{sigmoid}$ 核函数*

$$\kappa (x_i,x_j)=\text{tanh}(\beta x_i^T{x}_j+\theta ),\beta >0,\theta >0$$

上述的核函数，也可以通过线性组合等方式，组成新的核函数。