吴恩达机器学习101:SVM优化目标
1.为了描述SVM,需要从logistic回归开始进行学习,通过改变一些小的动作来进行支持向量机操作。在logistic回归中我们熟悉了这个假设函数以及右边的sigmoid函数,下式中z表示θ的转置乘以x,
(1)如果我们有一个样本,其中y=1,这样的一个样本来自训练集或者测试集或者交叉验证集,我们希望h(x)能尽可能的接近1。因此我们想要正确的将样本进行分类,如果h(x)趋近于1,就意味着远大于0,即
。
(2)相应的如果y=0,我们想hθ(x)=0,那么远远小于0,即
(3)logistic regresssion的代价函数:
如果y=1,当的时候,我们可以画下图:
如果y=0,当,我们可以画下图:
线性回归代价函数:
支持向量机代价函数:
与logistic回归不同的是,支持向量机并不会输出概率,而是优化上面的这个代价函数,得到一个参数θ,而支持向量机所做的是进行了一个直接的预测,预测y是0还是1.所以如果θ的转置乘以x的值大于0,那么它就会输出1;如果θ的转置乘以x的转置小于0 ,那么它就会输出0