2013年3月12日

Hama介绍、安装以开发环境搭建(以备后用)

摘要: 一、Hama介绍Apache Hama是一个纯BSP(Bulk Synchronous Parallel)计算框架,模仿了Google的Pregel。用来处理大规模的科学计算,特别是矩阵和图计算。BSP概念由Valiant(2010图灵奖获得者)在1990年提出,具体参看wikipedia。Google在2009年发表了<Pregel: A System for Large-Scale Graph Processing>论文,在分布式条件下实现了BSP模型。二、Hama安装安装环境:OS: UbuntuJAVA: jdk1.6Hadoop:hadoop-1.0.3安装Hama之前, 阅读全文

posted @ 2013-03-12 19:08 _Deron_ 阅读(2715) 评论(0) 推荐(0) 编辑

Hadoop集群新增节点实现方案

摘要: 又是一年毕业季,实验室集群维护工作交接的同时又要将两台超算中心的刀片机(感觉有点大材小用了...)加入到集群,特做一个step by step的安装指南,以备后用。1、修改新增机器的机器名,根据资料1,分别用hostname命令修改和直接对/etc/hostname、/etc/hosts文件做了修改,其中hosts包含其他各节点IP地址与机器名的对应关系。(hostname是临时修改,重启后失效。而修改hostname和hosts只有重启之后才生效,由于某些原因不能重启电脑,特做两种操作。)hostname dm62、更新软件源列表信息,根据资料2,使用了163的源,将/etc/apt/sou 阅读全文

posted @ 2013-03-12 19:03 _Deron_ 阅读(383) 评论(0) 推荐(0) 编辑

2012年12月7日

图˙谱˙马尔科夫过程·聚类结构 (转载,原始出处不详)

摘要: 图˙谱˙马尔可夫过程˙聚类结构题目中所说到的四个词语,都是Machine Learning以及相关领域中热门的研究课题。表面看属于不同的topic,实际上则是看待同一个问题的不同角度。不少文章论述了它们之间的一些联系,让大家看到了这个世界的奇妙。从图说起这里面,最简单的一个概念就是“图”(Graph),它用于表示事物之间的相互联系。每个图有一批节点(Node),每个节点表示一个对象,通过一些边(Edge)把这些点连在一起,表示它们之间的关系。就这么一个简单的概念,它对学术发展的意义可以说是无可估量的。几乎所有领域研究的东西,都是存在相互联系的,通过图,这些联系都具有了一个统一,灵活,而又强大的 阅读全文

posted @ 2012-12-07 20:05 _Deron_ 阅读(289) 评论(0) 推荐(0) 编辑

导航