liuxincumt - 博客园

你是如何成为 Lisp 程序员的<转>

摘要：问题之：你是如何成为 Lisp 程序员的？答：我成为 Lisp 程序员的道路曲折而漫长。我曾于 2007 年 10 月 3 日在自己的日记中总结了自己的学习经历，现抄录于此。最早在 2000 年 5 月，斯托曼院士访华时告诉我，Lisp （或者它的现代变种 Scheme）是功能最强大的编程语言，他本人就是一位高级的 Lisp 程序员，他还精通 C，GNU Emacs 就是采用 C 和 L... 阅读全文

posted @ 2010-08-20 19:53 liuxincumt 阅读(2013) 评论(0) 推荐(0) 编辑

libsvm使用

摘要： LIBSVM 在给出源代码的同时还提供了Windows操作系统下的可执行文件，包括：进行支持向量机训练的svmtrain.exe；根据已获得的支持向量机模型对数据集进行预测的svmpredict.exe；以及对训练数据与测试数据进行简单缩放操作的svmscale.exe。它们都可以直接在DOS 环境中使用。如果下载的包中只有C++的源代码，则也可以自己在VC等软件上编译生成可执行文件。LIBSV... 阅读全文

posted @ 2010-04-28 20:37 liuxincumt 阅读(503) 评论(0) 推荐(0) 编辑

复习：支持向量机

摘要：相信任何一个做大规模数据处理的同学，或者研究机器学习的同学对这个名词不会很陌生，因为到目前位置我们所研究的机器学习方法中最主要的有神经网络，贝叶斯，概率图，统计机器学习等，当然还有一些其他学习算法，比如决策树等的，不过比较专业和单一，而前面的几个都可以说是某一类算法，因为里面包含了机器学习的大部分思想。其中统计机器学习中最出名的就是支持向量机，自从1995年诞生以来，经过十几年的发展，无论在理... 阅读全文

posted @ 2010-04-14 21:20 liuxincumt 阅读(327) 评论(0) 推荐(0) 编辑

关于维数灾难

摘要：经典的机器学习方法都会遇到维数灾难的影响，即同一种学习机器为了获得相同的泛化性能需要的样本数目随着维数的增多而呈指数级增长。这句话包含的另一层意思就是，对于同一种学习机器，给予同样的学习样本，得到的目标函数的泛化性能随着维数的增多而下降。从我们前面对统计机器学习的介绍来看，这种机器学习方法的性能是不受空间维数的影响的，它只跟函数集的VC维有关，所以使用统计机器学习方法时，如果空间维数增多，当没有给... 阅读全文

posted @ 2010-04-14 16:27 liuxincumt 阅读(1136) 评论(0) 推荐(0) 编辑

复习：支持向量机的理论基础—学习算法的实现方法

摘要：上节叙述了算法的构造方法，本节将进行学习算法的实现方法。上节已经说明，我们使用SRM原则通过同时最小化经验风险和置信范围而最小化理论（2）中的界，也就是通过选择某个合适的结构然后在其中运行ERM原则，有两种途径可以实现这个过程：（1）固定置信范围，最小化经验风险。这看起来跟我们的算法构造过程是一致的，不过需要好的策略能够保证选择合适的结构以固定置信范围；（2）固定经验风险，最小化置信范围，这看... 阅读全文

posted @ 2010-04-14 10:15 liuxincumt 阅读(295) 评论(0) 推荐(0) 编辑

复习：支持向量机的理论基础－学习算法的构造

摘要：上篇文章介绍了支持向量机的理论基础，通过介绍我们知道要控制学习过程的推广能力，理论（1）和（2）告诉我们就得控制VC维，理论（3）中的SRM原则通过对函数集划分成某种结构使得VC维成为可控变量，从而控制了学习过程的推广能力，于是就可以选在在某个函数子集中履行ERM原则，根据理论（2）的界就可以同时最小化经验风险和置信范围，最终完成学习过程。本节我们来介绍如何依据本理论实现学习过程的第（4）个步... 阅读全文

posted @ 2010-04-13 14:14 liuxincumt 阅读(418) 评论(0) 推荐(0) 编辑

复习：支持向量机的理论基础－统计学习理论

摘要：为了使用经验风险最小化原则（ERM原则）来进行学习，第一步我们要证明什么情况下使用ERM原则得到的函数有推广能力，这导致统计学习理论的第一个问题：（1）学习过程一致性的理论，即ERM原则学习过程一致性的条件；当证明了使用ERM原则学习得到的函数可以推广后，我们要做的是推导这个函数的推广能力，也就是学习的收敛速度（这里的速度不是指的计算时的速度）这导致学习理论的第二个问题：（2）学习过程收敛速度的非渐进性理论；理论（1）和（2）对于实际风险和经验风险以及VC维有如下的结论： + 其中，为实际风险，为经验风险，L为数据集个数，h为VC维。根据这个公式，要使得界变小，也就是获得高的推广能. 阅读全文

posted @ 2010-04-12 14:31 liuxincumt 阅读(438) 评论(0) 推荐(0) 编辑

LX