支持向量机SVM

支持向量机：二分类模型

SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。

SVM的的学习算法就是求解凸二次规划的最优化算法。

SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。

 

 

支持向量机就是在样本空间中找到一个划分超平面，将样本进行分类，并使得间隔最大。即。如果训练样本是线性可分的，这个超平面就很容易找到。但是现实中原始的样本空间并不存在这样的超平面能够正确划分两类样本。此时，就需要核函数，将样本从原始空间映射到一个更高维的特征空间，使样本在新的特征空间能够线性可分。

 

核函数作用：将样本从原始空间映射到一个更高维的特征空间中去。如图：

 

 

 软间隔：

软间隔是相对于硬间隔来说的。

硬间隔是指找到的那个超平面能够将所有样本都正确的进行分类。

软间隔是指找到的那个超平面能够将大多数样本正确进行分类，但是也允许某些样本没有能够正确被划分。如图：

 

这时的优化目标就变成了在求最大化间隔的条件下，不满足约束的样本尽可能的少。即：