windows下eclipse远程连接Hadoop集群进行开发

本人使用的软件版本如下：

Hadoop的版本为hadoop-1.0.1

Eclipse的版本为Indigo

 

本人的hadoop集群由3台centos 6 64位的机器组成

其中一台Master，两台为Slave

安装eclipse开发环境的步骤如下：

1. 下载hadoop-eclipse-plugin-1.0.0.jar  插件下载地址
2. 把插件放到eclipse的plugin目录
3. 打开eclipse可以看到增加了一个map/reduce的视图，打开那个视图
4. 在下面的Map/Reduce Locations的地方增加一个Location
5. 注意在编辑连接信息的时候需要注意以下几个事项
   1. 端口必须和hadoop设置的端口一致
   2. tmp地址设置为你的hadoop数据存储地址的根目录，其他的目录就跟着变了，具体可以参考
   3. 注意上面的参考中有些东西跟最新的插件有出入

6. 运行程序的时候如果出现问题，如下

   Permission denied: user=Administrator, access=WRITE, inode="root":root:supergroup:rwxr-xr-x
   此类错误说明本地用户administrator（本机windows用户）想要远程操作hadoop系统，没有权限引起的。

   解决方法给相应没权限的目录设置下777权限。如给root目录设置权限

   ./hadoop fs -chmod 777 /user/root

    

   /user/root为你的hadoop配置参数hadoop.tmp.dir配置的地址