Machine Learning --- SVM & Kernel Trick & GLM
摘要：
一、SVMSVM:支持向量机，即用不多的几个向量（二维是点）撑起分类界面，如图：固定间隔为1，目标是让几何间隔越大越好（类分得越开越好），即找出最小的||w||。这里间隔定义为：|g|=y*(w'x+b)，几何间隔定义为：|g|/||w||（即点到直线的距离）。为方便运算，把w的二范式平方（即权重平方和），最后就把SVM转变为二次规划问题：解规划问题，自然想到拉格朗日乘子法，定义拉格朗日函数：此式对w求偏导，便得最小w（a是一个稀疏向量，非零项对应的x为支持向量）：因此判别函数便出来了：将测试的点x带入上式，与训练的点xi算内积，得出的结果大于1便是+类，小于1便是-类。以上为理想情况 阅读全文
posted @ 2013-11-12 23:43 Jizhiyuan 阅读(1577) 评论(1) 推荐(1) 编辑
