2013年8月25日
摘要: 本文环境是在Ubuntu10.04环境下运行的。 在Linux上安装Hadoop之前,首先安装两个程序: 1、JDK1.6(或更高版本)。Hadoop是用Java编写的程序,Hadoop编译及MapReduce的运行都需要使用JDK。因此在安装Hadoop之前,必须安装JDK1.6或更高版本。 2、SSH(Secure Shell 安全外壳协议)。SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。Hadoop需要SSH来启动Slave(从机)列表中各台主机的... 阅读全文
posted @ 2013-08-25 17:10 Bester 阅读(1612) 评论(0) 推荐(0) 编辑
摘要: 配置系统是复杂软件必不可少的一部分,而Hadoop配置信息处理是学习Hadoop源代码的一个很好的起点。现在就从Hadoop的配置文件谈起。一、Hadoop配置格式Hadoop配置文件格式如下所示: io.sort.factor 10 The number of streams to merge at once while sorting files Hadoop的配置文件跟元素为configuration,一般只包含子元素property。每一个property元素就是一个配置项,配置文件不支持分层或分级,每个配置属性的名称name... 阅读全文
posted @ 2013-08-25 11:02 Bester 阅读(2039) 评论(2) 推荐(0) 编辑