博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

Working with Hadoop under Eclipse

Posted on 2011-04-15 20:08  李大嘴  阅读(1050)  评论(0编辑  收藏  举报

1. Eclipse3.6 SVN plugin installation---subversive,我的环境是Ubuntu10.10,Eclipse 3.6.2 helio。下面是安装步骤:

        Eclipse-->'help'--'install new software'

        Subversive的URL是已经内置在helio里的,只不过是给Disable掉了。

        选'available software sites', 然后过滤Subversive,把Subversive的URL给Enable,再回到安装界面,就可以选择Subversive的插件了。安装完成后重新启动。

2. 重新启动完成后,打开SVN repositories视图。因为还没有Connector安装上,所以会自动弹出一个窗口,里面列出了Subversive Connector Plugin,有SVNKit,还有JavaHL,我选择的是SVNKit最高版本。安装完成重新启动。

3. 下载Hadoop源代码

Hadoop 源代码共包括 common、hdfs(分布式文件系统)、mapred(MapReduce) 三部分,各自的 SVN 地址如下:

http://svn.apache.org/repos/asf/hadoop/common

http://svn.apache.org/repos/asf/hadoop/hdfs

http://svn.apache.org/repos/asf/hadoop/mapreduce

【注意】三个项目有依赖关系,common 是后两者的公共组件,mapred 则是基于 hdfs,但这些依赖关系已经处理好,无需开发者关心,三个项目可分别独立下载、编译 。下载的时候路径后面都要加上/trunk。

     * 在 eclipse 中,单击菜单 File > Import,选择 SVN > 从 SVN 检出项目,单击 Next 按钮进入下一步;

    * 选中“创建新的资源库位置”,单击 Next 按钮后输入上述对应部分的地址,然后只选中 trunk 文件夹;

    * 下一步选择“作为新项目检出,并使用新建项目向导进行配置”,不要选择“作为工作空间中的项目检出”,因为无法选择项目类型;点击 Finish 按钮进入 New Project 向导;

    * 选择项目类型为 Java Project,取好项目名称,JRE最好选1.6,点击 Next 按钮,进入 Java Setting 窗口;

    * 将 Default output folder 由 .../bin 更改为 .../build/eclipse-classes(或其他),以免 eclipse 自动清空 bin 文件夹下手工编写的文件;点击 Finish 按钮等待下载完成。

    此时会有很多文件标有红色叉号,属正常现象,后面我们使用 ant 编译出配套的 eclipse 项目文件则可消除这些错误。

4. 设置使用 Ant Builder 进行编译

以 MapReduce部分为例,设上步新建的项目为 MapReduce.

    * 右键单击该项目(或从 Project 菜单下)选择 Properties,找到 Builders 选项卡,取消勾选 Java Builder,单击 New 按钮选择 Ant Builder,进入 Edit Configuration 窗口;

    * 初始为 Main 选项卡,Name栏可设置名称 MapReduce_Builder(或其他),Buildfile栏通过 Browse Workspace 按钮选择 MapReduce 项目下的 build.xml 文件;

    * 而后切换到 Targets 选项卡,单击 Manual Build 栏的 Set Targets 按钮,除了默认选项 compile 外,勾选 compile-test-system 和 eclipse(不选择的话package目录结构与java文件就不对应了,参考A)(自动生成eclipse项目文件);如果查找不便可勾选下方 Sort targets(按名称字母序)和 Hide internal targets。

    确认后项目即开始进行编译(时间较长),可以看到控制台(Console)有各种输出,期间会自动下载若干文件。完成后右键单击项目,选择 Refresh(或按 F5 键),可以看到项目组织结构发生了变化,原有的红色叉号也消失了。

【注意】由于项目规模较大,在第一边编译完成后,可在 Project 菜单下取消勾选 Build Automatically。

【参考】

A. Hadoop 项目SVN地址:

http://svn.apache.org/repos/asf/hadoop/

B. hadoop Eclipse环境搭建指南:

http://wiki.apache.org/hadoop/EclipseEnvironment