SVM:从数学上分析为什么优化cost function会产生大距离(margin)分类器

向量内积

u^Tv = v^Tu为两个二维向量的内积，它等于p*||u||(其中p为向量v在向量u上的投影长度，是有+/-之分的，||u||为向量u的长度也称为范数)，它是一个实数（是一个标量）。

如上图所示，当u与v之间的夹角小于90度时，p为正的；当u与v之间的夹角大于90度时，p为负的。

SVM的目标优化函数(cost function)与约束条件

这儿将问题进行简化，令θ₀=0(截距为0),n=2来分析下

SVM的目标优化函数（cost function）可以写成上图中的1/2倍的θ的范数(长度)的平方（θ₀=0）

如上张PPT可知θ^Tx⁽ⁱ⁾等同于p⁽ⁱ⁾*||θ||=θ₁x₁⁽ⁱ⁾+θ₂x₂⁽ⁱ⁾

SVM：最大间距即最大投影，投影最大，则由约束条件得||θ||最小

 

 

从上图可以看出，当我们选择左边那个分类边界的时候，因为θ向量是与分类边界垂直的，P⁽ⁱ⁾为x⁽ⁱ⁾到θ向量的投影,所以可以看出P⁽ⁱ⁾是很小的，要满足约束条件(p⁽ⁱ⁾*||θ||>=1),则||θ||会很大，则不是cost function的最小值，故SVM在最小化cost function的时候，不会选择这个分类边界。

当我们选择右边的这个分类边界的时候，可以看到P⁽ⁱ⁾相对较大，则||θ||会较小，故SVM在最小化cost function的时候，会选择这个分类边界。可以看到margin为x(i)到θ的投影，投影最大，即最大间距（margin）的由来。

上面是一种简化，θ₀=0，当θ₀≠0,同样可以得出为什么是最大margin分类器的原因(当然都是在C很大的情况下)

总结

在C很大的情况下，要使SVM的cost function最小，即使θ的范数（长度）最小，包含两个约束条件（在这两个约束条件下，以C为系数的那个term才为0,见之前的blog）

在约束条件的限制下，要使θ的范数（长度）最小，即使x(i)到θ的投影最大，投影即为margin,所以就会产生large margin分类器