随笔分类 -  hadoop

摘要：以下为在CentOS-6.4下hadoop-1.2.0源码编译步骤。1. 安装并且配置ant 下载ant，将ant目录下的bin文件夹加入到PATH变量中。2. 安装git，安装autoconf，安装automake，安装libtool3. 修改saveVersion.sh文件 修改hadoop工程目录src目录下的saveVersion.sh文件，将user=‘whoami’中的‘whoami’改为实际的名字（如我的名字maybob，则改为：user=maybob）。4. 执行ant编译hadoop源码 cd切换到hadoop工程目录，执行命令ant。5. Note： 由于编译时要下... 阅读全文

摘要：linux、windows下通用，亲测。下面以window为例，假设:hadoop工程目录位于D:\work\eclipse64\hadoop-1.2.0.1.3.0.0，eclipse安装目录为E:\DevelopTools\eclipse64。 1.安装ant ant安装不再介绍。 2. 导入hadoop eclipse插件工程 hadoop eclipse工程位于hadoop工程目录的src\contrib\eclipse-plugin下，其默认的项目名称是 MapReduceTools。 3.导入所需jar包。 a. 将hadoop-core-*.jar（如... 阅读全文

摘要：HDFS读文件详解通过对客户端简单读取数据的源码（见图3.1）的执行进行跟踪，可以窥探到客户端是如何读取到数据的。图3.1 客户端简单读取数据的源码 下面开始解释第5行到第12代码：第5行：根据文件的名字fileName构造一个Path类的对象path。第6行：初始化一个Configuration变量conf。第7行：根据path的成员函数getFileSystem()传入参数conf获得文件系统hdfs变量。以上三行根据文件名，得到一个FileSystem类的对象hdfs，其实hdfs是FileSystem子类DistributedFileSystem的一个对象。此处hdfs为何为Distr 阅读全文