复习:支持向量机
相信任何一个做大规模数据处理的同学,或者研究机器学习的同学对这个名词不会很陌生,因为到目前位置我们所研究的机器学习方法中最主要的有神经网络,贝叶 斯,概率图,统计机器学习等,当然还有一些其他学习算法,比如决策树等的,不过比较专业和单一,而前面的几个都可以说是某一类算法,因为里面包含了机器学 习的大部分思想。其中统计机器学习中最出名的就是支持向量机,自从1995年诞生以来,经过十几年的发展,无论在理论上还是在应用中都已证明这种方法是足 够优秀的,本节将简要说明支持向量机,对于其中的一些外延不做过多说明。
我们在知道了SRM原则的实现方法后,下一步就是怎么对这个方法进行数学建模,支持向量机就是实现SRM原则的一个数学模型,它将同时最小化置信范围和经验风险的过程归纳为一个求解二次优化问题的过程,这个优化问题这就是大部分教科书上关于支持向量机的数学描述,在这里不再赘述。
支持向量机的优点并不只是在泛化性能上的数学精确解释,表面上看起来它只能处理线性问题和近似线性问题,因为函数集是线性的,但是通过引入一个非线性映射机制,使得它能够处理大部分非线性问题,这个非线性映射机制就是我们经常听说的核函数。
经过上面的介绍我们可以看出,支持向量机其实是一个学习框架,对于具体的应用只要定义了其经验风险就可以纳入其中进行学习,线性的可以直接学习,非线性的可以使用核函数进行非线性映射,然后再学习。这样支持向量机的主要内容由核函数和优化问题求解组成。核函数的选择仍是一个待研究的问题,大部分的关于支持向量机的研究集中在优化问题的求解上,这是由现实应用决定的。
由于时间关系,本文仅仅介绍这么多内容,肯定有很多不足之处,请各位大虾们不吝赐教,呵呵
posted on 2010-04-14 21:20 liuxincumt 阅读(327) 评论(0) 编辑 收藏 举报