机器学习技法笔记-Lecture 4 Soft-margin support vector machine

之前讲的hard-margin SVM，要做到把所有的点都正确分类，不允许有错误。这样的话会将noise也学进去。

我们可以退而求其次，能够允许一定程度的犯错（理解成放弃一些有可能noise的点），来增加模型的泛化能力

combination后，前半是希望w越小越好，后半是希望犯错越少越好，C用来控制两者的重要度。

 

但是上述形式的问题不好求解，也无法衡量大错误和小错误。

为此，使用新的参数来表示错误的大小，允许犯错，但不允许太多太大的错

 

还是通过对偶问题来求解

 

同样通过求偏导提出最优解的约束条件

 

和hard-margin比起来多了个C

对偶问题最后写成

 

求解步骤：

对b的求解，如果有一个点的alpha大于0小于c，称它为free的sv，那么b就有唯一解。如果没有free sv，那么就是一个范围而不是一个固定的解。

 

soft-margin SVM最后把样本点分成了三类