Win7_64位MyEclipse2015提交mapreduce到CDH5.10.0任务失败

之前在项目上用的是CDH5.5.2,用MyEclipse2015提交的mapreduce任务,当然win7下也要配置虚拟的hadoop环境,win7下的插件版本都是hadoop2.6版本的,因为CDH5.5.2对应的就是hadoop2.6,如下图插件:

回公司后,在公司的服务器上搭建了一个我自己的CDH,版本为5.10.0,显示的hadoop版本也为hadoop2.6,于是测试WordCount,出现如下错误

折腾了一天,总算解决了。

首先根据提示找到了反编译的代码,如下:

然后又看了CDH5.5.2的相对应包下的源码,发现CDH5.5.2下的根本没有上面的代码,同时,网上搜索的这个问题都是发生在hadoop2.7.x版本下的,于是,我下了个win7的hadoop2.7.1的插件,替换掉了原来的bin目录的所有文件,再次跑程序,成功!

我不知道CDH5.10.0的hadoop本质上对应的是hadoop2.6.x还是hadoop2.7.x,还是只是对Windows I/O这块对应的不一致!hdfs测试没什么问题,mapreduce需要换成2.7.x的插件,其它如hive/spark等还没测,有测试的朋友可以分享下经验!

posted @ 2017-03-15 15:27  耿廑  阅读(289)  评论(0编辑  收藏  举报