《机器学习(周志华)》笔记--支持向量机（1）--间隔与支持向量：线性二分类问题、支持向量机基本思想、间隔与支持向量、间隔与支持向量数学推导、支持向量机基本型
支持向量机 (Support Vector Machine) 是由Vapnik等人于1995年提出来的，之后随着统计理论的发展，支持向量机 SVM 也逐渐受到了各领域研究者的关注，在很短的时间就得到了很广泛的应用。支持向量机是被公认的比较优秀的分类模型。同时，在支持向量机的发展过程中，其理论方面的研究得到了同步的发展，为支持向量机的研究提供了强有力的理论支撑。
一、间隔与支持向量
1、线性二分类问题
线性二分类问题其本质上就是找到一条决策边界，将我们的数据分成两类。如下图：
图中的绿线与黄线都能很好的将图中的红点与蓝点给区分开。但是，哪条线的泛化性更好呢？（泛化性也就是说，我们的这条直线，不仅需要在训练集(已知的数据)上能够很好的将红点跟蓝点区分开来，还要在测试集(未知的数据)上将红点跟蓝点给区分开来。）
假如经过训练，我们得到了黄色的这条决策边界用来区分我们的数据，这个时候又来了一个数据，即黑色的点，那么你觉得黑色的点是属于红的这一类，还是蓝色的这一类呢？
如上图，根据黄线的划分标准，黑色的点应该属于红色这一类。可是，我们肉眼很容易发现，黑点离蓝色的点更近，它应该是属于蓝色的点。这就说明，黄色的这条直线它的泛化性并不好，它对于未知的数据并不能很好的进行分类。那么，如何得到一条泛化性好的直线呢？这个就是支持向量机考虑的问题。
2、支持向量机基本思想
支持向量机的思想认为，一条决策边界它如果要有很好的泛化性，它需要满足一下以下两个条件：
（1）能够很好的将样本划分
（2）离最近的样本点最远
比如下图中的黑线：
它能够正确的将红点跟蓝点区分开来，而且，它还保证了对未知样本的容错率，因为它离最近的红点跟蓝点都很远，这个时候，再来一个数据，就不会出现之前黄色决策边界的错误了。
无论新的数据出现在哪个位置，黑色的决策边界都能够很好的给它进行分类，这个就是支持向量机的基本思想。
3、间隔与支持向量
支持向量:距离超平面最近的样本点；
间隔：两个异类支持向量到超平面的距离之和。
支持向量机就是要寻找具有最大间隔的超平面。
在样本空间中，决策边界可以通过如下线性方程来描述：
其中 w = ( w1 , w2 , .. , wd ) 为法向量，决定了决策边界的方向。b 为位移项，决定了决策边界与原点之间的距离。
显然，决策边界可被法向量和位移确定，我们将其表示为（w , b）。样本空间中的任意一个点x,到决策边界（w , b）的距离可写为：
假设决策边界（w , b）能够将训练样本正确分类，即对于任何一个样本点 (xi , yi) ,若它为正类，即 yi = +1 时，
；若它为负类，即 yi = −1时，
。
如图中，距离最近的几个点使两个不等式的等号成立，它们就被称为支持向量，即图中两条黄色的线。两个异类支持向量到超平面的距离之和为：
。它被称为间隔，即蓝线的长度。
欲找到具有“最大间隔”的决策边界，即黑色的线，也就是要找到能够同时满足如下式子的 w 与 b :
4、间隔与支持向量数学推导
推导过程：
实例计算：
假设下面使两类中的一些点集：
划分它们并找到最优分类线。支持向量是什么？间隔是是什么？
解得：
5、支持向量机基本型
