随笔分类 -  手把手教你实现支持向量机算法(SVM)

从SVM的原理出发,直到实现SMO算法
摘要:一.SMO算法的原理SMO算法和以往的一些SVM改进算法一样,是把整个二次规划问题分解为很多较易处理的小问题,所不同的是,只有SMO算法把问题分解到可能达到的最小规模:每次优化只处理两个样本的优化问题,并且用解析的方法进行处理。我们将会看到,这种与众不同的方法带来了一系列不可比拟的优势。对SVM来说,一次至少要同时对两个样本进行优化(就是优化它们对应的Lagrange乘子),这是因为等式约束的存在使得我们不可能单独优化一个变量。所谓“最小优化”的最大好处就是使得我们可以用解析的方法求解每一个最小规模的优化问题,从而完全避免了迭代算法。当然,这样一次“最小优化”不可能保证其结果就是所优化的Lag 阅读全文
posted @ 2013-03-28 20:27 MechineLearner 阅读(3154) 评论(0) 推荐(0)
摘要:什么是机器学习 (Machine Learning) 机器学习是研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习的大致分类:1)分类(模式识别):要求系统依据已知的分类知识对输入的未知模式(该模式的描述)作分析,以确定输入模式的类属,例如手写识别(识别是不是这个数)。2)问题求解:要求对于给定的目标状态,寻找一个将当前状态转换为目标状态的动作序列。SVM一般是用来分类的(一般先分为两类,再向多类推广一生二,二生三,三生万物哈) 问题的描述向量表示: 阅读全文
posted @ 2012-12-31 22:37 MechineLearner 阅读(8086) 评论(0) 推荐(1)