SVM计算过程,对偶形式,核函数
2013-09-04 12:36 Loull 阅读(2271) 评论(0) 编辑 收藏 举报SVM是一个分类方法,用w^X+b定义分类函数, 于是求w、b,为寻最大间隔,引出1/2||w||^2,继而引入拉格朗日因子,化为对单一因数对偶变量a的求解(求解过程中会涉及到一系列最优化或凸二 次规划等问题),如此,求w.b与求a等价,而求a的解法即为SMO,至于核函数,是为处理非线性情况,若直接映射到高维计算恐维度爆炸,故在低维计算, 等效高维表现。
一、原问题和对偶形式
优化目标:
到这个形式以后,就可以很明显地看出来,它是一个凸优化问题,或者更具体地说,它是一个二次优化问题——目标函数是二次的,约束条件是线性的。这个问题可以用任何现成的 QP (Quadratic Programming) 的优化包进行求解。
虽然这个问题确实是一个标准的 QP 问题,但是它也有它的特殊结构,通过 Lagrange Duality 变换到对偶变量 (dual variable) 的优化问题之后,可以找到一种更加有效的方法来进行求解——这也是 SVM 盛行的一大原因,通常情况下这种方法比直接使用通用的 QP 优化包进行优化要高效得多。此外,在推导过程中,许多有趣的特征也会被揭露出来,包括刚才提到的 supporting vector 的问题。
通过给每一个约束条件加上一个 Lagrange multiplier,我们可以将它们融和到目标函数里去:
然后我们令:
现在的目标函数变成了:
然后,
代回:
此时我们得到关于 dual variable a的优化问题:
这里的形式的有趣之处在于,对于新点x的预测,只需要计算它与训练数据点的内积即可(这里<x,z>表示向量内积),这一点至关重要,是之后使用 Kernel 进行非线性推广的基本前提。此外,所谓 Supporting Vector 也在这里显示出来——事实上,所有非 Supporting Vector 所对应的系数a都是等于零的,因此对于新点的内积计算实际上只要针对少量的“支持向量”而不是所有的训练数据即可。
在得到了 dual 对偶形式之后,通过 Kernel 推广到非线性的情况就变成了一件非常容易的事情了。
二、核函数
对于非线性的情况,SVM 的处理方法是选择一个核函数K(x,z),通过将数据映射到高维空间,来解决在原始空间中线性不可分的问题。由于核函数的优良品质,这样的非线性扩展在计算量上并没有比原来复杂多少,这一点是非常难得的。当然,这要归功于核方法——除了 SVM 之外,任何将计算表示为数据点的内积的方法,都可以使用核方法进行非线性扩展。
高斯核:会将原始空间映射为无穷维空间的那个家伙。不过,如果σ选择很大的话,高次特征上的权重实际上衰减得非常快,所以实际上(数值上近似一下)相当于一个低维的子空间;反过来,如果σ选得很小,则可以将任意的数据映射为线性可分——当然,这并不一定是好事,因为随之而来的可能是非常严重的过拟合问题。不过,总的来说,通过调控参数 σ,高斯核实际上具有相当高的灵活性,也是使用最广泛的核函数之一。