随笔分类 - 机器学习
摘要：前段时间在学习空间统计相关的知识，于是把ArcGIS里Spatial Statistics工具箱里的工具好好研究了一遍，同时也整理了一些笔记上传分享。这一篇先聊一些基础概念，工具介绍篇随后上传。 空间统计研究起步于上个世纪70年代，空间统计其核心就是认识与地理位置相关的数据间的空间依赖、空间关联等关
阅读全文
摘要：2011-12-05 19:49:55 标签：群智能 休闲 蚁群优化 粒群优化 粒子群优化 原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://nxlhero.blog.51cto.com/962631/734212 粒子群优化算法属
阅读全文
摘要：自话粒子群算法（超简单实例） 简介 上 次在自话遗传算法中提到后期会写两篇关于粒子群算法和蚁群算法的博文，所以这次给大家带来的是我对粒子群的一些理解，并附带一个相当简单的实例去描述这个 算法，我会尽力通俗易懂的把整个算法描述一遍，其实粒子群算法的思想也挺简单的，希望我不要反而写复杂了，下面同样引用百
阅读全文
摘要：2013-12-13 20:00:58 Yanjun K-means算法是很典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。 对于聚类问题，我们事先并不知道给定的一个训练数据
阅读全文
摘要：聚类分析（英语：Cluster analysis，亦称为群集分析） K-means也是聚类算法中最简单的一种了，但是里面包含的思想却是不一般。最早我使用并实现这个算法是在学习韩爷爷那本数据挖掘的书中，那本书比较注重应用。看了Andrew Ng的这个讲义后才有些明白K-means后面包含的EM思想。
阅读全文
摘要：http://ufldl.stanford.edu/tutorial/
阅读全文
摘要：当使用学习算法时，一段更快的代码通常意味着项目进展更快。例如，如果你的学习算法需要花费20分钟运行完成，这意味着你每个小时能“尝试”3个新主意。但是假如你的程序需要20个小时来运行，这意味着你一天只能“尝试”一个新主意，因为你需要花费这么长时间来等待程序的反馈。对于后者，假如你可以提升代码的效率让其
阅读全文
摘要：条件数 Posted on 07/01/2010 by ccjou 本文的阅读等级：高级 当一线性系统受到极微小的扰动即可引发方程解剧烈变化时，我们将无从信任计算结果，便称它是病态系统(见“ 病态系统 ”)。 条件数(condition number) 是矩阵运算误差分析的基本工具，它可以度量矩阵对
阅读全文
摘要：优化算法入门系列文章目录（更新中）： 1. 模拟退火算法 2. 遗传算法 一. 爬山算法 ( Hill Climbing ) 介绍模拟退火前，先介绍爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次从当前解的临近解空间中选择一个最优解作为当前解，直到达到一个局部最优解。 爬山算法实现很简单，其主
阅读全文
摘要：优化算法入门系列文章目录（更新中）： 1. 模拟退火算法 2. 遗传算法 遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。 一.进化论知
阅读全文
摘要：0 引言 一直想写Adaboost来着，但迟迟未能动笔。其算法思想虽然简单“听取多人意见，最后综合决策”，但一般书上对其算法的流程描述实在是过于晦涩。昨日11月1日下午，邹博在我组织的机器学习班第8次课上讲决策树与Adaboost，其中，Adaboost讲得酣畅淋漓，讲完后，我知道，可以写本篇博客了
阅读全文
摘要：寻找最可能的隐藏状态序列(Finding most probable sequence of hidden states) 对于一个特殊的隐马尔科夫模型(HMM)及一个相应的观察序列，我们常常希望能找到生成此序列最可能的隐藏状态序列。 1.穷举搜索 我们使用下面这张网格图片来形象化的说明隐藏状态和观
阅读全文
摘要：介绍 崔晓源 翻译 我们通常都习惯寻找一个事物在一段时间里的变化规律。在很多领域我们都希望找到这个规律，比如计算机中的指令顺序，句子中的词顺序和语音中的词顺序等等。一个最适用的例子就是天气的预测。 首先，本文会介绍声称概率模式的系统，用来预测天气的变化 然后，我们会分析这样一个系统，我们希望预测的状
阅读全文
摘要：VC维含义的个人理解 有关于VC维可以在很多机器学习的理论中见到，它是一个重要的概念。在读《神经网络原理》的时候对一个实例不是很明白，通过这段时间观看斯坦福的机器学习公开课及相关补充材料，又参考了一些网络上的资料（主要是这篇，不过个人感觉仍然没有抓住重点），重新思考了一下，终于理解了这个定义所要传达
阅读全文
摘要：没有系统学过数学优化，但是机器学习中又常用到这些工具和技巧，机器学习中最常见的优化当属凸优化了，这些可以参考Ng的教学资料：http://cs229.stanford.edu/section/cs229-cvxopt.pdf，从中我们可以大致了解到一些凸优化的概念，比如凸集，凸函数，凸优化问题，线性
阅读全文
摘要：解密SVM系列（一）：关于拉格朗日乘子法和KKT条件 解密SVM系列（一）：关于拉格朗日乘子法和KKT条件 标签： svm算法支持向量机 2015-08-17 18:53 1214人阅读 评论(0) 收藏 举报 标签： svm算法支持向量机 2015-08-17 18:53 1214人阅读 评论(0
阅读全文
摘要：【整理】 在求解最优化问题中，拉格朗日乘子法（Lagrange Multiplier）和KKT（Karush Kuhn Tucker）条件是两种最常用的方法。在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。 我们这里提到的最优化问题通常是指对于给定的某一函数，求其在指定作用域上的全局
阅读全文
摘要：原文链接：http://blog.csdn.net/v_july_v/article/details/7624837 作者：July、pluskid ；致谢：白石、JerryLead 出处：结构之法算法之道blog。 前言 动笔写这个支持向量机(support vector machine)是费了不
阅读全文