window8.1编译hadoop2 eclipse插件,并远程调试hadoop程序
一、编译hadoop2 eclipse插件
1、安装ant
2、准备eclipse插件包,下载地址:http://pan.baidu.com/s/1i3myDvv 或者https://github.com/nemotan/hadoop2x-eclipse-plugin
3、解压插件包,进入主目录执行:
ant jar -Dversion=2.6.0 -Declipse.home=F:\tool\eclipse-jee-juno-SR2\eclipse-jee-juno-SR2 -Dhadoop.home=E:\hadoop\hadoop-2.6.0\hadoop-2.6.0
生成的插件在:${hadoop2x-eclipse-plugin}/build/contrib/eclipse-plugin/该目录中
二、eclipse远程调试hadoop
1、配置hadoop安装目录以便创建 m-r project的之后引入相关jar包
2、打开Map/Reduce视图并配置
3、新建m-r项目,即可
注意:
1、在mapreduce项目中需要添加log4j日志文件log4j.properties
2、伪分布模式下,如果调用FileSystem会报:Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS的错误,是因为权限问题
需要把远程伪分布环境下的core-site.xml和hdfs-site.xml文件copy到项目的原目录文件夹下:如图