Hadoop1.0.3集成eclipse开发

本文来自：http://www.ilablog.org/%E7%BC%96%E8%AF%91hadoop-eclipse%E6%8F%92%E4%BB%B6/

本人由于工作原因目前没有亲自尝试，那位尝试如果出错可以将错误写在评论里，我们共同探讨。

一、所需软件

Windows 7旗舰版

Eclipse 3.7.0

Ant

Cygwin

hadoop-1.0.3

二、Ant和Cygwin安装

1、Ant安装

（1）将Ant解压放在合适目录：比如D盘。

（2）配置Ant环境变量：D:\Ant\apache-ant-1.8.4\bin

（3）控制台中输入echo %PAHT% 使环境变量生效。（没必要重启）

2、Cygwin 安装(cygwin是一个在windows平台上运行的unix模拟环境)

（1）从Cygwin官网下载setup.exe进行在线安装。

 

 

列表中有很多可以下载的网址，找合适的选一个就行，比如网易的。

（3）配置环境Cygwin环境变量。

H:\Cygwin\bin

H:\Cygwin\usr\sbin

三、编译hadoop-eclipse-plugin-1.0.3.jar插件

1、将hadoop解压。比如：D:\hadoop-1.0.3。

2、进入D:\hadoop-1.0.3\src\contrib目录。将build-contrib.xml复制到D:\hadoop-1.0.3\src\contrib\eclipse-plugin目录下。

3、修改build-contrib.xml文件：

将hadoop.root改为hadoop解压目录。

<property name=”hadoop.root” location=” D:\hadoop-1.0.3″/>

在下面添加如下两行：Eclipse安装根目录，和hadoop版本。

<property name=”eclipse.home” location=”D:\eclipse”/>

<property name=”version” value=”1.0.3″/>

4、在D:\hadoop-1.0.3\src\contrib\eclipse-plugin 目录下创建lib目录，并将以下jar包复制进来：commons-configuration-1.6.jar、commons- httpclient-3.0.1.jar、commons-lang-2.4.jar

jackson-core-asl-1.8.8.jar、jackson-mapper-asl-1.8.8.jar.

5、在D:\hadoop-1.0.3下创建build文件夹，将hadoop-core-1.0.3.jar复制进来。

在D:\hadoop-1.0.3\build目录下创建D:\hadoop-1.0.3\build\ivy\lib\Hadoop\common目录并将commons-cli-1.2.jar复制到该目录下。

6、修改build.xml文件。目录：D:\hadoop-1.0.3\src\contrib\eclipse-plugin

<target name=”jar” depends=”compile” unless=”skip.contrib”>

<mkdir dir=”${build.dir}/lib”/>

<copy file=”${hadoop.root}/build/hadoop-core-${version}.jar” tofile=”${build.dir}/lib/hadoop-core.jar” verbose=”true”/>

<copy file=”${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar” todir=”${build.dir}/lib” verbose=”true”/>

<copy file=”${hadoop.root}/build/commons-configuration-1.6.jar” todir=”${build.dir}/lib” verbose=”true”/>

<copy file=”${hadoop.root}/build/commons-httpclient-3.0.1.jar” todir=”${build.dir}/lib” verbose=”true”/>

<copy file=”${hadoop.root}/build/commons-lang-2.4.jar” todir=”${build.dir}/lib” verbose=”true”/>

<copy file=”${hadoop.root}/build/jackson-core-asl-1.8.8.jar” todir=”${build.dir}/lib” verbose=”true”/>

<copy file=”${hadoop.root}/build/jackson-mapper-asl-1.8.8.jar” todir=”${build.dir}/lib” verbose=”true”/>

<jar

jarfile=”${build.dir}/hadoop-${name}-${version}.jar”

manifest=”${root}/META-INF/MANIFEST.MF”>

<fileset dir=”${build.dir}” includes=”classes/ lib/”/>

<fileset dir=”${root}” includes=”resources/ plugin.xml”/>

</jar>

</target>

7、修改：MANIFEST.MF文件。目录：D:\hadoop-1.0.3\src\contrib\eclipse-plugin\META-INF

Bundle-ClassPath那一栏加入如下信息：

Bundle-ClassPath: classes/,

lib/hadoop-core.jar,

lib/commons-cli-1.2.jar,

lib/commons-configuration-1.6.jar,

lib/commons-httpclient-3.0.1.jar,

lib/commons-lang-2.4.jar,

lib/commons-jackson-core-asl-1.8.8.jar,

lib/commons-jackson-mapper-asl-1.8.8.jar

8、在控制台切换到目录D:\hadoop-1.0.3\src\contrib\eclipse-plugin，使用Ant进行编译（编译过程中 需要联网，一些缺少的包会从网上下载）。最后生成的结果会在D:\hadoop-1.0.3\build\contrib\eclipse-plugin 下面。