2013年3月12日

Hama介绍、安装以开发环境搭建(以备后用)

摘要: 一、Hama介绍Apache Hama是一个纯BSP(Bulk Synchronous Parallel)计算框架,模仿了Google的Pregel。用来处理大规模的科学计算,特别是矩阵和图计算。BSP概念由Valiant(2010图灵奖获得者)在1990年提出,具体参看wikipedia。Google在2009年发表了<Pregel: A System for Large-Scale Graph Processing>论文,在分布式条件下实现了BSP模型。二、Hama安装安装环境:OS: UbuntuJAVA: jdk1.6Hadoop:hadoop-1.0.3安装Hama之前, 阅读全文

posted @ 2013-03-12 19:08 _Deron_ 阅读(2715) 评论(0) 推荐(0) 编辑

Hadoop集群新增节点实现方案

摘要: 又是一年毕业季,实验室集群维护工作交接的同时又要将两台超算中心的刀片机(感觉有点大材小用了...)加入到集群,特做一个step by step的安装指南,以备后用。1、修改新增机器的机器名,根据资料1,分别用hostname命令修改和直接对/etc/hostname、/etc/hosts文件做了修改,其中hosts包含其他各节点IP地址与机器名的对应关系。(hostname是临时修改,重启后失效。而修改hostname和hosts只有重启之后才生效,由于某些原因不能重启电脑,特做两种操作。)hostname dm62、更新软件源列表信息,根据资料2,使用了163的源,将/etc/apt/sou 阅读全文

posted @ 2013-03-12 19:03 _Deron_ 阅读(383) 评论(0) 推荐(0) 编辑

导航