支持向量机—合页损失函数
合页损失函数
线性支持向量机之前我在别的博客中都已
支持向量机中最终将我们学习的问题转化为约束优化问题
但线性支持向量机学习还有另外一种解释,就是最小化以下目标函数:
对于“+”函数它的作用就很明显,若样本点(x,y)被正确分类则使其损失为0,若被错误分类,则损失为1-y(w.x+b),所以当我们最小化这个目标函数时,也可以达到得到的模型尽量将样本全部正确分类。且后面又有一个||w||2的惩罚项,这里其实的作用就是使超平面离最近的样本点距离最大化,提高模型的泛化能力,||w||2前面有一个数学符号“拉姆塔”,它的作用就是起一个“倾斜”的作用,当“拉姆塔”很大时,此时模型更照顾使最大间隔更大,当他很小时,说明此时我们更希望误分类点更少。
一个小小的数学符号就可以对一个模型产生那么大的影响,我觉得挺值得我们思考的。