核函数
1、核函数发展历史
核函数理论不是源于支持向量机的，它只是在线性不可分数据条件下实现支持向量方法的一种手段，这在数学中是个古老的命题。Mercer定理可以追溯到1909年，再生核希尔伯特空间(ReproducingKernel Hilbert Space, RKHS)研究是在20世纪40年代开始的。早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域，但是直到1992年Vapnik等利用该技术成功地将线性SVMs推广到非线性SVMs时其潜力才得以充分挖掘。核函数方法是通过一个特征映射可以将输入空间（低维的）中的线性不可分数据映射成高维特征空间中（再生核Hilbert空间）中的线性可分数据，这样就可以在特征空间使用SVM方法了。因为使用SVM方法得到的学习机器只涉及特征空间中的内积，而内积又可以通过某个核函数（所谓Mercer核）来表示，因此我们可以利用核函数来表示最终的学习机器，这就是所谓的核方法。核函数本质上是对应于高维空间中的内积的，从而与生成高维空间的特征映射一一对应。核方法正是借用这一对应关系隐性的使用了非线性特征映射（当然也可以是线性的）。这一方法即使得我们能够利用高维空间让数据变得易于处理，不可分的变成可分的，同时又回避了高维空间带来的维数灾难不用显式表达特征映射。
2、核函数方法原理
根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。采用核函数技术可以有效地解决这样问题。
设x，z∈X，X属于R（n）空间，非线性函数Φ实现输入间X到特征空间F的映射，其中F属于R（m），n<<m。根据核函数技术有：
K(x,z) =<Φ(x),Φ(z) > (1)
其中：<, >为内积，K(x,z)为核函数。从式(1)可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。
3、核函数特点
核函数方法的广泛应用与其特点是分不开的：
1）核函数的引入避免了“维数灾难”，大大减小了计算量。而输入空间的维数n对核函数矩阵无影响，因此，核函数方法可以有效处理高维输入。
2）无需知道非线性变换函数Φ的形式和参数。
3）核函数的形式和参数的变化会隐式地改变从输入空间到特征空间的映射，进而对特征空间的性质产生影响，最终改变各种核函数方法的性能。
4）核函数方法可以和不同的算法相结合，形成多种不同的基于核函数技术的方法，且这两部分的设计可以单独进行，并可以为不同的应用选择不同的核函数和算法。
4、常见核函数
核函数的确定并不困难，满足Mercer定理的函数都可以作为核函数。常用的核函数可分为两类，即内积核函数和平移不变核函数，如：
1）高斯核函数K(x,xi) =exp(-||x-xi||2/2σ2；
2）多项式核函数K(x,xi)=(x·xi+1)^d, d=1,2,…,N；
3）感知器核函数K(x,xi) =tanh(βxi+b)；
4）样条核函数K(x,xi) = B2n+1(x-xi)。
5、核函数方法实施步骤
核函数方法是一种模块化(Modularity)方法，它可分为核函数设计和算法设计两个部分，具体为：
1）收集和整理样本,并进行标准化；
2）选择或构造核函数；
3）用核函数将样本变换成为核函数矩阵,这一步相当于将输入数据通过非线性函数映射到高维特征空间；
4）在特征空间对核函数矩阵实施各种线性算法；
5）得到输入空间中的非线性模型。
显然，将样本数据核化成核函数矩阵是核函数方法中的关键。注意到核函数矩阵是l×l的对称矩阵，其中l为样本数。
