斯坦福公开课《机器学习》第五章SVM笔记

为函数间隔的定义

考虑训练样本里r hat的最小值，对应的是训练样本里函数间隔的最坏情形：

几何间隔：

= r hat / || w ||

最优间隔分类器的定义：

拉格朗日对偶性：略。

若要dual*=primary*=L(w*, α*, β*)，w*, α*，β*满足KKT dual complementarity condition（KKT对偶互补条件）：

优化间隔分类器：

考虑此分类器的定义，令：

则可得拉格朗日优化问题：

对w, b求偏导数如下：

此外又有：

进而得到：

核函数：（未理解明白）

用核函数代替上式中的内积，将变量映射到更高维空间。这样计算内积就好，而不必把向量装入内存（事实上也装不下）。

此式对应的 映射 为：

高斯核：

如何判断一个核是valid的：

即：K是一个valid的核     等价于     它所对应的核矩阵是对称半正定矩阵

在数据是非线性可分的情况下：

称为     L1 norm soft margin SVM。是一个凸优化问题。

它允许间隔小于1，即允许有错误的分类。

SMO算法：

坐标上升算法：

这个算法的迭代次数比较多，但在某时某情况下如果W(a1,,,am)中的某个参数求最优值的代价非常小，那么内层循环将会非常快。

SMO：

如果像svm那样只对一个α求解，同时固定其他的α。由等式（19）得到

即α也就固定了。SMO同时对两个α求解，随即得到：

此式是一个一元二次函数，易得到α1。

Andrew Ng让在John Platt的论文里寻找下面两个问题的答案：

SMO算法：

由等式

可知问题转化为求α的问题，如下：

此等式中各个参数的求解如下：

ps:不知不觉好久不写笔记。