支持向量机(一)
阅读目录
一.什么是支持向量?
二.支持向量机的类型?
三.支持向量机的思想?
四.支持向量机名字的由来?
五.各种支持向量机的学习策略?
一.什么是支持向量?
是一种二类分类的模型。它在自然语言中广泛应用于短语识别,词义消歧,文本自动分类和信息过滤等方面。
二.支持向量机的类型?
支持向量机分为三类:1.线性可分支持向量机(第一个图),2.线性支持向量机(第二个图) 3.非线性支持向量机(第三个图)
三.支持向量机的思想?
比如二维平面上,我们只要找到一条直线把这两类划分开来,分类就很容易了,以后遇到一个数据,就丢进这个平面,看在直线的哪一边,就是哪一类。比如x+y-2=0这条直线,我们把数据(x,y)代入,只要认为x+y-2>0的就是A类,x+y-2<0的就是B类。以此类推,还有三维的,四维的,N维的属性的分类,这样构造的也许就不是直线,而是平面,超平面。一个三维的函数分类:x+y+z-2=0,这就是个分类的平面了。有时候,分类的那条线不一定是直线(线性不可分),还有可能是曲线,我们通过某些函数来转换,这样就可以转化成刚才的那种多维的分类问题(线性分类),这个就是核函数的思想。例如:分类的函数是个圆形x^2+y^2-4=0。这个时候令x^2=a; y^2=b,就变成了a+b-4=0 这种可以线性划分的问题了。
四.支持向量机名字的由来?
名字由两部分组成:"支持向量"和"机"。
在机器学习领域中,我们通常用“机”来表示“算法”的意思。
而支持向量是什么意思呢?
我们以线性可分的二维空间为例:
- 假设我们要通过三八线把实心圈和空心圈分成两类。
- 就像感知机一样,有无数多个直线来划分这里的样本点。
- 在SVM中,我们寻找一个直线,使得离这个直线最近的点,都尽可能的远。
- 在这个图中,边缘加粗的点就是离直线最近的点,这些点对直线的最终位置起到了关键的作用,而其他的点并不起作用,我姑且叫它“支持点”(意思就是有用的点),由于样本点会有很多特征,所以我们把“点”改为“向量”(比如三维的点(X,Y,Z)就是三维向量),因此“支持向量”就是这样来的。
五.各种支持向量机的学习策略
a.当训练数据线性可分,通过硬间隔最大化学习到线性可分支持向量机。
b.当训练数据近似线性可分,通过软间隔最大化学习支持线性支持向量机。
c.当训练数据线性不可分,通过核技巧和软间隔最大化学习非线性支持向量机。
在明天会讲解的内容:线性可分支持向量机与硬间隔最大化。