核函数

核函数理论不是源于支持向量机的.它只是在线性不可分数据条件下实现支持向量方法的一种手段.这在数学中是个古老的命题. Mercer定理可以追溯到1909年，再生核希尔伯特空间(ReproducingKernel Hilbert Space, RKHS)研究是在20世纪40年代开始的。早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域，但是直到1992年 Vapnik等利用该技术成功地将线性SVMs推广到非线性SVMs时其潜力才得以充分挖掘。核函数方法是通过一个特征映射可以将输入空间(低维的)中的 线性不可分数据映射成高维特征空间中(再生核Hilbert空间)中的线性可分数据.这样就可以在特征空间使用SVM方法了.因为使用svm方法得到的学 习机器只涉及特征空间中的内积，而内积又可以通过某个核函数(所谓Mercer核)来表示，因此我们可以利用核函数来表示最终的学习机器.这就是所谓的核 方法。核函数本质上是对应于高维空间中的内积的，从而与生成高维空间的特征映射一一对应。核方法正是借用这一对应关系隐性的使用了非线性特征映射(当然也 可以是线性的)。这一方法即使得我们能够利用高维空间让数据变得易于处理，不可分的变成可分的,同时又回避了高维空间带来的维数灾难不用显式表达特征映 射.

设x,z∈X,X属于R（n）空间,非线性函数Φ实现输入间X到特征空间F的映射,其中F属于R（m）,n<<m。根据核函数技术有：

       K(x,z) =<Φ(x),Φ(z) >                (1)

    其中：<, >为内积,K(x,z)为核函数。从式(1)可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高 维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。

 

　1）高斯核函数K(x,xi) =exp(-||x-xi||2/2σ2；

  2）多项式核函数K(x,xi)=(x·xi+1)^d, d=1,2,…,N； 

  3）感知器核函数K(x,xi) =tanh(βxi+b)；

  4）样条核函数K(x,xi) = B2n+1(x-xi)。