摘要： 本文环境是在Ubuntu10.04环境下运行的。 在Linux上安装Hadoop之前，首先安装两个程序： 1、JDK1.6（或更高版本）。Hadoop是用Java编写的程序，Hadoop编译及MapReduce的运行都需要使用JDK。因此在安装Hadoop之前，必须安装JDK1.6或更高版本。 2、SSH（Secure Shell 安全外壳协议）。SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。Hadoop需要SSH来启动Slave（从机）列表中各台主机的... 阅读全文

摘要： 配置系统是复杂软件必不可少的一部分，而Hadoop配置信息处理是学习Hadoop源代码的一个很好的起点。现在就从Hadoop的配置文件谈起。一、Hadoop配置格式Hadoop配置文件格式如下所示： io.sort.factor 10 The number of streams to merge at once while sorting files Hadoop的配置文件跟元素为configuration，一般只包含子元素property。每一个property元素就是一个配置项，配置文件不支持分层或分级，每个配置属性的名称name... 阅读全文