JerryLead

摘要： 11 SMO优化算法（Sequential minimal optimization） SMO算法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for Training Support Vector Machines》了。 我拜读了一下，下面先说讲义上对此方法的总结。 首先回到我们前面一直悬而未解的问题，对偶函数最后的优化问题： 要解决的是在参数上求最大值 阅读全文

摘要： 9 规则化和不可分情况处理（Regularization and the non-separable case） 我们之前讨论的情况都是建立在样例线性可分的假设上，当样例线性不可分时，我们可以尝试使用核函数来将特征映射到高维，这样很可能就可分了。然而，映射后我们也不能100%保证可分。那怎么办呢，我们需要将模型进行调整，以保证在不可分的情况下，也能够尽可能地找出分隔超平面。 看下面两张图： 可以看到一个离群点（可能是噪声）可以造成超平面的移动，间隔缩小，可见以前的模型对噪声非常敏感。再有甚者，如果离群点在另外一个类中，那么这时候就是线性不可分了。 这时候我们应该允许一些点游离并在在模型中违背限 阅读全文

摘要： 7 核函数（Kernels） 考虑我们最初在“线性回归”中提出的问题，特征是房子的面积x，这里的x是实数，结果y是房子的价格。假设我们从样本点的分布中看到x和y符合3次曲线，那么我们希望使用x的三次多项式来逼近这些样本点。那么首先需要将特征x扩展到三维，然后寻找特征和结果之间的模型。我们将这种特征变换称作特征映射（feature mapping）。映射函数称作，在这个例子中 我们希望将得到的特征映射后的特征应用于SVM分类，而不是最初的特征。这样，我们需要将前面公式中的内积从，映射到。 至于为什么需要映射后的特征而不是最初的特征来参与计算，上面提到的（为了更好地拟合）是其中一个原因，另外的一个 阅读全文

摘要： 【转载请注明出处】http://www.cnblogs.com/jerrylead6 拉格朗日对偶（Lagrange duality） 先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题： 目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为 L是等式约束的个数。 然后分别对w和求偏导，使得偏导数等于0，然后解出w和。至于为什么引入拉格朗日算子可以求出极值，原因是f(w)的dw变化方向受其他不等式的约束，dw的变化方向与f(w)的梯度垂直时才能获得极值，而且在极值处，f(w)的梯度与其他等式梯度的线性组合平行，因 阅读全文

摘要： 【转载请注明出处】http://www.cnblogs.com/jerrylead1 简介支持向量机基本上是最好的有监督学习算法了。最开始接触SVM是去年暑假的时候，老师要求交《统计学习理论》的报告，那时去网上下了一份入门教程，里面讲的很通俗，当时只是大致了解了一些相关概念。这次斯坦福提供的学习材料，让我重新学习了一些SVM知识。我看很多正统的讲法都是从VC 维理论和结构风险最小原理出发，然后引出SVM什么的，还有些资料上来就讲分类超平面什么的。这份材料从前几节讲的logistic回归出发，引出了SVM，既揭示了模型间的联系，也让人觉得过渡更自然。 2 重新审视logistic回归Logist 阅读全文

摘要： [转载请注明出处] http://www.cnblogs.com/jerrylead 记得在高中做数学题时，经常要求曲线的切线。见到形如之类的函数，不管三七二十一直接求导得到，这就是切线的斜率，然后就得到了处的切线。 上大学又学习了曲面切线和法向量的求法，求偏导是法向量，然后套公式求出切线。 一个经典例子如下： （来自web上某个《几何应用》ppt） 其中的向量n是F(x,y,z)的偏导数。 然而，这两者求法看似无关啊，中求得的是切线，然而下面的求偏导后却是法向量，为啥都是求导，差别这么大呢？切平面的方程为啥又是与法向量有关呢？ 当然这些问题的问答都可以通过严格的数学推导完成。这里想从更加直白 阅读全文

摘要： 转载时请注明来源：http://www.cnblogs.com/jerrylead1判别模型与生成模型上篇报告中提到的回归模型是判别模型，也就是根据特征值来求结果的概率。形式化表示为，在参数确定的情况下，求解条件概率。通俗的解释为在给定特征后预测结果出现的概率。 比如说要确定一只羊是山羊还是绵羊，用判别模型的方法是先从历史数据中学习到模型，然后通过提取这只羊的特征来预测出这只羊是山羊的概率，是绵羊的概率。换一种思路，我们可以根据山羊的特征首先学习出一个山羊模型，然后根据绵羊的特征学习出一个绵羊模型。然后从这只羊中提取特征，放到山羊模型中看概率是多少，再放到绵羊模型中看概率是多少，哪个大就是哪个 阅读全文

摘要： 【转载时请注明来源】：http://www.cnblogs.com/jerrylead JerryLead 2011年2月27日 作为一个机器学习初学者，认识有限，表述也多有错误，望大家多多批评指正。 1 摘要 本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前四节主要讲述了回归问题，回归属于有监督学习中的一种方法。该方法的核心思想是从连续型统计数据中得到数学模型，然后将该数学模型用于预测或者分类。该方法处理的数据可以是多维的。 讲义最初介绍了一个基本问题，然后引出了线性回归的解决方法，然后针对误差问题做了概率解释。之后介绍了logistic回归。最后上升到理论层次，. 阅读全文