摘要：
KKT Duality 阅读全文
摘要：
本文是“支持向量机系列”的第五篇，参见本系列的其他文章。 作为支持向量机系列的基本篇的最后一篇文章，我在这里打算简单地介绍一下用于优化 dual 问题的 Sequential Minimal Optimization (SMO) 方法。确确实实只是简单介绍一下，原因主要有两个：第一这类优化算法，特别 阅读全文
摘要：
本文是“支持向量机系列”的第四篇，参见本系列的其他文章。 在最开始讨论支持向量机的时候，我们就假定，数据是线性可分的，亦即我们可以找到一个可行的超平面将数据完全分开。后来为了处理非线性数据，使用 Kernel 方法对原来的线性 SVM 进行了推广，使得非线性的的情况也能处理。虽然通过映射 \phi( 阅读全文
摘要：
本文是“支持向量机系列”的第三篇，参见本系列的其他文章。 前面我们介绍了线性情况下的支持向量机，它通过寻找一个线性的超平面来达到对数据进行分类的目的。不过，由于是线性方法，所以对非线性的数据就没有办法处理了。例如图中的两类数据，分别分布为两个圆圈的形状，不论是任何高级的分类器，只要它是线性的，就没法 阅读全文
摘要：
本文是“支持向量机系列”的第二篇，参见本系列的其他文章。 上一次介绍支持向量机，结果说到 Maximum Margin Classifier ，到最后都没有说“支持向量”到底是什么东西。不妨回忆一下上次最后一张图： 可以看到两个支撑着中间的 gap 的超平面，它们到中间的 separating hy 阅读全文
摘要：
0 前言 本文承接上一篇博文拉格朗日乘子法和KKT条件http://www.cnblogs.com/liaohuiqiang/p/7805954.html，讲讲拉格朗日对偶性的问题。 在约束优化问题中，常常用拉格朗日对偶性来将原始问题转为对偶问题，通过解对偶问题的解来得到原始问题的解。 阅读全文