支持向量机核技巧：10个常用的核函数总结

支持向量机是一种监督学习技术，主要用于分类，也可用于回归。它的关键概念是算法搜索最佳的可用于基于标记数据(训练数据)对新数据点进行分类的超平面。

一般情况下算法试图学习一个类的最常见特征(区分一个类与另一个类的特征)，分类是基于学习到的这些代表性特征(因此分类是基于类之间的差异)。支持向量机的工作方式正好相反。它会找到类之间最相似的例子，这些就是支持向量。

SVM的核方法

核或核方法(也称为内核函数)是用于模式分析的不同类型算法的集合。它们可以使用线性分类器来解决非线性问题。核方法被应用于支持向量机(Support Vector Machines, SVM)，用于分类和回归问题。SVM使用所谓的核技巧(Kernel Trick)，即对数据进行转换，为可能的输出找到最佳边界。

核方法的使用条件

支持向量机算法使用一组定义为核的数学函数。核的功能是将数据作为输入，并将其转换为所需的形式。不同的支持向量机算法使用不同类型的核函数。这些函数可以是不同的类型。

例如线性、非线性、多项式、径向基函数(RBF)和sigmoid。核函数是一个相似函数。它是我们作为领域专家，提供给机器学习算法的一个功能。它接受两个输入，并计算出它们的相似程度。

假设我们的任务是学习对图像进行分类。我们有(图像，标签)对作为训练数据。想想典型的机器学习流程:我们获取图像，计算特征，将每张图像的特征串成一个向量，然后将这些“特征向量”和标签输入到学习算法中。

核函数提供了另一种选择。我们不需要定义大量的特征，而是定义了一个核函数来计算图像之间的相似性。将这个内核与图像和标签一起提供给学习算法，从而得到一个分类器。标准的支持向量机/逻辑回归/感知机公式不适用于核:它们适用于特征向量。那么如何使用核函数呢?下面两个定理解决了这个问题:

• 在某些条件下，每个核函数都可以表示为(可能是无限维)特征空间中的点积(Mercer定理)。
• 许多机器学习算法可以完全用点积来表示。

这两个事实意味着我可以用用点积的形式表示我们喜欢的机器学习算法，然后由于我的核在某些空间中也是一个点积，我们还可以用核来替换点积。

 

完整文章：

https://avoid.overfit.cn/post/aeb97550b8ee4e1bba782806c1012f3d