随笔分类 -  机器学习

摘要：本次所讲的是libsvm在matlab中的2个应用实例，是本学期模式识别的2个编程作业题。一、16棋盘格数据分类试验目的：产生16棋盘的训练数据，用svm训练出一个模型，然后对新来的样本进行分类预测。试验说明：训练数据样本数为1600个，即每个格子中随机产生100个数据点，分为2类，2种颜色分布在16个格子中，相交分布。测试数据样本点数为320个，即每个格子中的数据点为20个。如果分类预测正确，则用绿色画出，预测错误，则用红色画出。实验结果： 产生的训练样本分布图如下所示： 训练样本分布图如下： 预测结果如下(如果分类正确用绿色显示，否则用红色显示)： 实验结果评价... 阅读全文

摘要：在前面的博文《初步体验libsvm用法1(官方自带工具)》：http://www.cnblogs.com/tornadomeet/archive/2012/04/12/2443993.html 中已经初步介绍了使用官方自带的svm几个exe文件来可视化操作分类问题，但是在实际编程中，svm的训练和预测有可能只是项目工程的一部分，嵌入在其中了。我们不能单独拿出来处理。所以libsvm需要与其他的计算机语言平台相结合。 这一节主要讲libsvm在matlab下的初步体验。 我的matlab版本为matlab(R2011b),c/c++编译器为vs c++2010(32位)。这里需要注意的是... 阅读全文

摘要：前面已经有3篇博文介绍了背景减图方面相关知识(见下面的链接)，在第3篇博文中自己也实现了gmm简单算法，但效果不是很好，下面来体验下opencv自带2个gmm算法。 opencv实现背景减图法1(codebook和平均背景法) http://www.cnblogs.com/tornadomeet/archive/2012/04/08/2438158.html opencv实现背景减图法2(帧差法) http://www.cnblogs.com/tornadomeet/archive/2012/05/01/2477629.html opencv实现背景减图法3(GMM) http... 阅读全文

摘要：摘要 本文通过opencv来实现一种前景检测算法——GMM，算法采用的思想来自论文[1][2][4]。在进行前景检测前，先对背景进行训练，对图像中每个背景采用一个混合高斯模型进行模拟，每个背景的混合高斯的个数可以自适应。然后在测试阶段，对新来的像素进行GMM匹配，如果该像素值能够匹配其中一个高斯，则认为是背景，否则认为是前景。由于整个过程GMM模型在不断更新学习中，所以对动态背景有一定的鲁棒性。最后通过对一个有树枝摇摆的动态背景进行前景检测，取得了较好的效果。关键字：GMM,opencv，前景检测前言 前景检测主要分为帧差法，平均背景法，光流法，前景建模法，背景非参数估计，背景建模法等。而.. 阅读全文

摘要：Deep Learning（深度学习）：ufldl的2个教程(这个没得说，入门绝对的好教程，Ng的，逻辑清晰有练习)：一ufldl的2个教程(这个没得说，入门绝对的好教程，Ng的，逻辑清晰有练习)：二Bengio团队的deep learning教程，用的theano库，主要是rbm系列，搞pytho... 阅读全文

摘要：第一章,引论 本章是本书的纲领，有着统领全局的味道。 首先通过一个多项式曲线拟合的例子引出了本领域的一些概念，比如线性模型，过拟合，错误函数，模型比较和模型选择，最大似然，正则化，岭回归，权值衰减，验证集，hold-out集等。 然后作者分别从概率理论，决策理论，信息理论三个方向分别介绍了这几个理论在模式识别和机器学习中的作用。本书也是由这3个理论贯穿的，其中最终要的理论是概率理论。(待续…)第二章,概率分布 阅读全文

摘要：在机器学习和模式识别领域，svm理论使用得很广泛，其理论基础是统计学习，但是如果我们的研究方向不是svm理论，我们只是利用已有的svm工具来对我们的任务进行分类和回归，那么libsvm是一个不错的选择。 那么libsvm到底怎么使用呢？研究了一下，发现使用起来不是很复杂，这一小结就说说到底怎么简单的体会libsvm吧。一、首先准备几个工具： Libsvm下载 http://www.csie.ntu.edu.tw/~cjlin/libsvm/ Gnuplot下载：http://www.gnuplot.info/ Python下载: http://www.python.org/getit/ ... 阅读全文

摘要：一. 流形学习的英文名为manifold learning。其主要思想是把一个高维的数据非线性映射到低维，该低维数据能够反映高维数据的本质，当然有一个前提假设就是高维观察数据存在流形结构，其优点是非参数，非线性，求解过程简单。二. 流形学习的可行性是因为：1.从认知心理学的角度来讲心理学家认为人的认知过程是基于认知流形和拓扑连续性的；2.许多高维采用数据都是由少数几个隐变量所决定的，所以可以用少数的低维数据来刻画高维数据。三. 流形学习所需的数学背景知识：微分流形，黎曼流形，微分几何，切向量场，拓扑空间，光滑映射等。四. 经典流形学习算法：Isomap：等距映射。前提假设为低维空间中的欧式距离 阅读全文

摘要：在上一篇博客http://www.cnblogs.com/tornadomeet/archive/2012/03/24/2415583.html中，我们已经从一个例子中学会了HMM的前向算法，解决了HMM算法的第一个问题，即模型评估问题。这一讲中我们来解决第二个问题：HMM的解码问题，即即给定观测序列 O=O1O2O3…Ot和模型参数λ=(A,B,π)，怎样寻找满足这种观察序列意义上最优的隐含状态序列S，这一步中最常用的算法就是Viterbi算法了。 同样的，我们先引入3个符合： ：表示在观察时刻t正处在状态j，且沿一条路径q1q2q3..qt，产生出的o1o2o3…ot最大概率。 ：表示的. 阅读全文

摘要：DTW为(Dynamic Time Warping,动态时间归准)的简称。应用很广，主要是在模板匹配中，比如说用在孤立词语音识别，计算机视觉中的行为识别，信息检索等中。可能大家学过这些类似的课程都看到过这个算法，公式也有几个，但是很抽象，当时看懂了但不久就会忘记，因为没有具体的实例来加深印象。 这次主要是用语音识别课程老师上课的一个题目来理解DTW算法。 首先还是介绍下DTW的思想：假设现在有一个标准的参考模板R，是一个M维的向量，即R={R（1），R（2），……，R（m），……，R（M）}，每个分量可以是一个数或者是一个更小的向量。现在有一个才测试的模板T，是一个N维向量，即T... 阅读全文

摘要：最近在看一些集成学习方面的知识，其中南京大学的周志华教授写的几篇关于集成学习综述性的文章还不错。看了下对集成学习有了一个初步的了解，如下： 集成学习是机器学习中一个非常重要且热门的分支，是用多个弱分类器构成一个强分类器，其哲学思想是“三个臭皮匠赛过诸葛亮”。一般的弱分类器可以由决策树，神经网络，贝叶斯分类器，K-近邻等构成。已经有学者理论上证明了集成学习的思想是可以提高分类器的性能的，比如说统计上的原因，计算上的原因以及表示上的原因。一、集成学习中主要的3个算法为：boosting,bagging,stacking. 其中boosting的弱分类器形成是同一种机器学习算法，只是其数据抽取时的. 阅读全文