机器学习之SVM支持向量机
前言
以下内容是个人学习之后的感悟,转载请注明出处~
简介
支持向量机(support vector machine),简称SVM,通俗来讲,它是一种二类分类模型,其基本模型定义为特
征空间上的间隔最大的线性分类器,其学习策略便是间隔最大化,最终可转化为一个凸二次规划问题的求解。
原理
SVM代价函数
支持向量机的代价函数和逻辑回归的代价函数十分相似,因为前者可以从后者中衍化出来。如下图所示,其实,支
持向量机的代价函数只是把逻辑回归的代价函数里的项进行了项替换(这里是相似项,并不对等,从图中可以看出),
并且把1/m去掉了(因为这是无关紧要的)。这时,大家都会觉得奇怪,为什么要替换项呢?替换了之后达到了什么效
果呢?
事实上,项替换了之后,我们可以在上图清晰地看到,cost1(z)和cost2(z)项的曲线图近似于原来逻辑回归中对应项的
曲线,但是这两项比原来更直观,从上图中可以看出,要想最小化代价函数,则:
- 如果y=1,我们希望θTx≥1;
- 如果y=0,我们希望θTx≤-1;
SVM最大间隔超平面
首先,介绍一下向量内积,设有两个向量u、v,则uTv=p·||u||,其中p为v在u上映射的长度。如下图所示:
那么,如何将上面这个数学原理用到SVM中呢?其实很简单,将u,v分别替换为θ、x即可,则θTx=p·||θ||。既然要求
最大间隔,那么只需各个样本特征值的p的值越大,那么超平面(即下图中绿色线)与样本点的间隔越大,分类效果更好。不
过p不能无限制的大,还要满足下图中的约束公式,即p尽量大,θ尽量小,使得代价函数更小,得到最大间隔超平面。
接下来,我们看一下SVM分类最大间隔超平面的效果图,下面右图是我们需要的效果,分类效果更加好。
核函数kernels
上面都是讲解线性可分的问题,那么,对于线性不可分问题,SVM该如何做呢?对,就是引入核函数,将低维的数据映
射到高维来解决线性不可分问题。目前,常用的核函数有以下几种:
线性核函数(也称无核) | ![]()
|
多项式核函数 | ![]()
|
高斯核函数(RBF) | ![]()
|
sigmoid核函数 | ![]()
|
那么如何选择核函数呢?本文做以下概述:
- 如果特征的数量大到和样本数量差不多,则选用LR或者线性核的SVM;
- 如果特征的数量小,样本的数量正常,则选用SVM+高斯核函数;
- 如果特征的数量小,而样本的数量很大,则需要手工添加一些特征从而变成第一种情况。
本文将会以较为常见的高斯核函数来讲解核函数在SVM中的作用。下图是
- 当
时,
- 当
距离
很远时,
以上是全部内容,如果有什么地方不对,请在下面留言,谢谢~