Fork me on GitHub
搭建Hadoop2.0

搭建Hadoop2.0

hadoop
 
Hadoop-0.20.2+ Nutch-1.2+Tomcat-7——分布式搜索配置
摘要: Hadoop-0.20.2+ Nutch-1.2+Tomcat-7——分布式搜索配置随着nutch的发展,各模块逐渐独立性增强,我从2.1到1.6装过来,也没有实现整个完整的功能。今天装一下nutch1.2,这应该是最后一个有war文件的稳定版本。1. 准备工作下载apache-nutch-1.2-bin.zip、apache-tomcat-7.0.39.tar.gz、hadoop-0.20.2.tar.gz。将下载的hadoop-0.20.2.tar.gz解压到/opt文件夹下。将下载的apache-nutch-1.2-bin.zip解压到/opt文件夹下。将下载的apache-tomcat阅读全文
posted @ 2013-04-15 18:28 aniuer 阅读(140) | 评论 (0) 编辑
 
搭建Hadoop2.0(三)自带实例运行
摘要: 1. 运行wordcount[7] Wordcount相当于helloword这样的程序,不必多说。在平台正常启动的情况下,建立input的文件夹和两个文件test1,test2,充填大量的“hello world”和“hello hadoop”。将input上传到hdfs上,命令为haoop fs –put /usr/lib/hadoop2.0.0-alpha/input/* input。然后在/share/hadoop/mapreduce下执行hadoop jar hadoop-mapreduce-examples-2.0.0-alpha.jar wordcount input outpu阅读全文
posted @ 2012-07-17 11:43 aniuer 阅读(1713) | 评论 (1) 编辑
 
搭建Hadoop2.0(二)hadoop环境配置
摘要: 1.Hadoop2.0简述[1]与之前的稳定的hadoop-1.x相比,Apache Hadoop 2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。 HDFS:为了保证name服务器的规模水平,开发人员使用了多个独立的Namenodes和Namespaces。这些Namenode是联合起来的,它们之间不需要相互协调。Datanode可以为所有Namenode存放数据块,每个数据块要在平台上所有的Namenode上进行注册。Datenode定期向Namenode发送心跳信号和数据报告,接受和处理Namenodes的命令。 YARN(新一代MapReduce):在h..阅读全文
posted @ 2012-07-16 23:36 aniuer 阅读(5644) | 评论 (4) 编辑
 
搭建Hadoop2.0(一)系统环境基本配置
摘要: 1. 安装ubuntu10.04 为了和合作公司的产品匹配,选择了ubuntu10.04操作系统。安装方法如下: (1)安装vmware8.0. (2) 新建一个虚拟机,选择“I will install the operation system later”。在Setting中的CD/DVD(IDE)选择加载ISO,然后安装。直接安装会导致进入不了图形界面。 (3)虚拟机中的安装过程很漫长,在79%的时候死机一次。后来发现拔掉网线安装比较快。在95%时,又停顿很长时间,不过也有网友提到过这个问题,耐心等待即可。2. 用root账户登录 Ubuntu是很让人纠结的系统,为了避免误操作...阅读全文
posted @ 2012-07-06 13:42 aniuer 阅读(1141) | 评论 (2) 编辑
posted on 2013-05-21 10:06  HackerVirus  阅读(142)  评论(0编辑  收藏  举报