Windows中的Eclipse连接Linux下的Hadoop进行开发

下载对应Hadoop版本的Eclipse插件，例如hadoop-eclipse-plugin-0.20.205.0.jar，将其拷贝到%Eclipse%/plugin中，启动Eclipse，切换到“Map/Reduce” Perspective；在下面的Tab中找到“Map/Reduce Location”,右键选择“new Hadoop Location”，在”location name”中随便起一个名字，在“Map/Reduce Master”中将Linux hadoop JobTracker所在的IP和端口填充，对于”DFS Master”中则需要填写HDFS的地址和端口，在下面的“User Name”中填写上Linux下面Hadoop的访问用户名，重启Eclipse即可，运行WordCount。

image

常见问题：

1）在HDFS树形列表中无法看到无法连接并且Exception是找不到一些类，则将对应的类加入Classpath或者直接将对应class文件打包到hadoop插件的jar包中

2）运行WordCount的时候报permission问题，这是由于Windows下文件权限问题，可以重新编译Hadoop的core/org/apache/hadoop/fs/FileUtil.java，注释掉所有的checkReturnValue调用，然后将新生成的class文件替换到WordCount工程所依赖的hadoop-core-XXXX.jar

posted @ 2012-12-18 15:48  shileiw  阅读(1782)  评论(0)  编辑  收藏  举报