实验-hadoop开发环境部署
hadoop-0.20.2自带了eclipse插件,比如1.0.0和2.2.0就没有
1.windows下
1)把插件hadoop-0.20.2-eclipse-plugin.jar复制到eclipse目录下的plugins目录中;
2)启动eclipse;
3) windown->preferences->Hadoop Map/Reduce
4)打开Map/Reduce视图
window->show view->Map/Reduce Location
5)配置hadoop
右键选择New Hadoop location
(名字随意、第一个是MR的地址和端口,第二个是HDFS的地址和端口,要配的和配置文件中的一样,特别注意User name一定要填Namenode的用户名,之前因为没注意,一直报错)
然后运行集群,即可链接
如果链接不上
<1>.namenode的防火墙关掉(root用户);
<2>.关掉HDFS的用户检查
6)能查看HDFS上的文件说明HDFS链接成功了,再测试一下MR
<1>.新建一个hadoop工程
<2>.自己写个代码或者直接贴上wordcount的代码
<3>.运行。设置输入输出参数
这时出现问题:
windows中chmod这个命令,解决办法:安装cygwin,然后把它的安装目录bin目录设置到环境变量Path中就可以了
2.Linux下(这个要更简单点)
1)安装eclipse(省略)
2)安装hadoop插件、Map/Reduce Locations、Hadoop installation Directoy等
这个不需要配置Linux环境和不用关心用户问题。
3)测试wordcount也同上。
其中有个问题我没懂得就是在配置运行参数的时候不能直接用/input/ /output/,必须用hdfs://192.168.126.129:9000/in这样的全称
我看到别人的文档中可以,不知道是我哪儿设置有问题还是他们在忽悠人