机器学习(周志华)笔记--第六章--支持向量机

 

　　6.1间隔与支持向量

　　给定训练样本集  ，基于此训练样本集D在样本空间找到一个划分超平面，将不同类别的样本分开。

　　在样本空间中，划分超平面可通过下列线性方程描述：

　　　　　　　　　　　　　　　　　　　　　　　　（1）

　　其中，为法向量， 决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离。

　　将超平面记为，样本空间任意点到超平面的距离可写为

　　　　　　　　　　　　　　　　　　　　(2)

　　假设超平面能将训练样本正确分类，即对于，

　　　　若，则有；

　　　　若，则有；

　　令

　　　　                            (3)

　　距离超平面最近的这几个训练样本使式(3)的等号成立，它们被称为“支持向量”(support vector)，两个异类支持向量到超平面的距离之和为

　　　　　　　　　　　　　　　　　　　　　　　　(4)

　　它被称为“间隔”(margin)。欲找到具有“最大间隔的”划分超平面，使得满足式（3）中约束的参数w和b，使最大，即