Fork me on GitHub

windows环境下跑hadoop自带的wordcount遇到的问题

hadoop环境自己之前也接触过,搭建的是一个伪分布的环境,主从节点都在我自己的机子上,即127.0.0.1,当初记得步骤很多很麻烦的样子(可能自己用ubuntu还不够熟练),包括myeclipse、hadoop等的下载与安装,以及最后的运行hadoop包自带的wordcount例子,当时只是在终端下运行的,没有把代码放在myeclipse中,也折腾半天,记得出现一个问题就是map过程能够达到100%,但是reduce却一直卡在0%,后来将自己的主机名hostname放到了hosts文件中,完美运行。

今天在熟悉hadoop环境,不同的是在windows server 2008上面,似乎之前这台机子上已有人配置过了,但是过时了,于是便删除了原来的两个节点,自己新建了一个节点。将hadoop插件放在了myeclipse目录dropins下,按照网上各位大神的步骤完成了基本配置,其中遇到了个问题,直接run as->run on hadoop出来的结果是“Usage: wordcount <in> <out>”,寻思了半天,找了些资料发现要在run as->run configurations中进行配置,进入后点arguments,在program arguments中加入了hdfs://localhost:8888/user/hadoop/input/* hdfs://localhost:8888/user/hadoop/output/*发现下面一直提示在重连,最终还是连不上,所以就开始琢磨,发现别人配的端口号和我不一样,于是把8888改成了我的DFS Master时设置的port的9000,这时运行还是报错,后来发现自己的也不是localhost而是hadoop93,这么一折腾,果然,结果出来了。

以上是菜鸟遇到的菜鸟问题,仅仅为了留下痕迹,以备以后查阅,如能给同道菜鸟一些帮助,则实属荣幸!

 

posted @ 2014-04-04 15:06  JackieZheng  阅读(635)  评论(0编辑  收藏  举报