window8.1编译hadoop2 eclipse插件,并远程调试hadoop程序

一、编译hadoop2 eclipse插件

    1、安装ant            

                 Image

           2、准备eclipse插件包,下载地址:http://pan.baidu.com/s/1i3myDvv 或者https://github.com/nemotan/hadoop2x-eclipse-plugin

           3、解压插件包,进入主目录执行:

                         ant jar -Dversion=2.6.0 -Declipse.home=F:\tool\eclipse-jee-juno-SR2\eclipse-jee-juno-SR2 -Dhadoop.home=E:\hadoop\hadoop-2.6.0\hadoop-2.6.0

                     生成的插件在:${hadoop2x-eclipse-plugin}/build/contrib/eclipse-plugin/该目录中

二、eclipse远程调试hadoop

            1、配置hadoop安装目录以便创建 m-r project的之后引入相关jar包

                 image

            2、打开Map/Reduce视图并配置

               image

    3、新建m-r项目,即可

               注意: 

                       1、在mapreduce项目中需要添加log4j日志文件log4j.properties

                       2、伪分布模式下,如果调用FileSystem会报:Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS的错误,是因为权限问题

                             需要把远程伪分布环境下的core-site.xml和hdfs-site.xml文件copy到项目的原目录文件夹下:如图

 
                     image 、 
                      3、把文件放入src目录下之后,发现编译后的class目录中并没有这些文件,此时需要修改构建路径,如图
        
                         
                       
posted @ 2015-07-21 19:01  nemotan  阅读(154)  评论(0编辑  收藏  举报