windows下使用eclipse远程编写hadoop配置
1、按照一般方法配置好hadoop伪分布式,注意core-site.xml和mapred-site.xml用IP,不要用localhost
2、格式化hdfs文件系统hadoop namenode -format
2、更改本地用户名为远程服务器的hadoop用户名,我的直接改成了root
3、我使用的hadoop-1.2.1,eclipse为3.6,插件为hadoop-eclipse-plugin-1.2.1、jdk1.6,location设置如下,9009对应mapred-site.xml中mapred.job.tracker端口,9008对应core-site.xml中df.default.name的端口
4、可能会出现连接不上的情况,使用netstat -nap | gerp port查看对应端口情况,本人查询情况如下,使用telnet ip port查看端口是否可以连通
第一列是协议Proto 第四列是Local Address 第五列是 Foreign Address
Connected to ...表示连通上了
4、注意eclipse的jdk路径、workspace路径、hadoop路径都不要有中文和空格
5、如果出现Failed to set permissions of path: \tmp\hadoop-root\mapred\staging\root1313294990\.staging to 0700错误,将本地hadoop-core-1.2.1.jar换成
修改/hadoop-1.0.2/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue,重新编译打包的hadoop-core-1.0.2.jar,地址