eclipse安装Hadoop1.1.2版本开发插件

Hadoop1.1.2版本没有直接适合Eclipse的安装插件,需要手动打包jar文件。

我的系统配置:

  • VMware Workstation10
  • CentOS-6.5-i386
  • hadoop-1.1.2
  • eclipse_SDK_3.7.2_win32

系统配置说明:

    我的电脑是Win7 32位的,安装了VMware虚拟机。

    在虚拟机中安装的是CentOS系统(Linux系统)。

    在Linux系统中配置的是Hadoop1.1.2的伪分布式集群环境。

    Eclipse安装在Window系统下。

实现功能:

    在window下的Eclipse中安装Hadoop的开发环境。

实现步骤:

    一、编译eclipse hadoop plugin插件

       详细参照页面:http://blog.csdn.net/yonghutwo/article/details/9185797 

    说明:使用此方法没有成功,没能成功打包生成jar文件。最后下载了现成的jar文件使用。

   二、配置Eclipse

    详细参照页面:http://f.dataguru.cn/thread-23548-1-1.html

  三、运行问题。   

12/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-hadoop     library for your platform... using builtin-java classes where applicable
12/04/24 15:32:44 ERROR security.UserGroupInformation:     PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set     permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-    519341271\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700

问题原因:

这个是Windows下文件权限问题,在Linux下可以正常运行,不存在这样的问题。

解决方法是将hadoop-x.x.x/src/core/org/apache/hadoop/fs/FileUtil.java里面方法checkReturnValue的代码注释掉.

再重新编译生成hadoop-x.x.x-core.jar.

问题解决:

新建一个MapReduce项目, 把hadoop-x.x.x/src/core/org/apache/hadoop/fs/FileUtil.java代码复制到src下(注意, 目录结构也需要), 按上面修改文件, 然后重新build下, 找到编译好的.class(两个), 用解压软件打开hadoop-x.x.x-core.jar, 把这两个class文件覆盖即可.

怎样build一个类文件:右键类--Export--Ant Bulidfiles

 提供一个我编译好的jar文件。下载地址: https://files.cnblogs.com/6tian/hadoop-core-1.1.2.rar

(使用时将.rar后缀改成.jar  博客园不允许上传jar类型的附件)

 

posted @ 2014-05-16 19:28  林六天  阅读(515)  评论(0编辑  收藏  举报