Hadoop-MyEclipse安装配置
配置环境:Hadoop-1.2.1,MyEclipse,Centos6.5
网站上有很多关于Hadoop-eclipse的安装配置信息,但很少有讲到关于怎么在MyEclipse上配置Hadoop的相关操作。由于我的电脑只装了MyEclipse,所以我在这里将如何用MyEclipse安装Hadoop-eclipse插件记录下来。其实跟在eclipse上配置是大同小异的。
步骤:
1)将Hadoop-eclipse-Plugin-1.2.1.jar放到MyEclipse安装目录的dropins文件夹下,重新启动MyEclipse。会发现在Project Explorer下出现DFS Locations.表明MyEclipse已经识别Hadoop-eclipse-Plugin-1.2.1.jar插件。
注意:Hadoop-eclipse-Plugin-1.2.1.jar这个jar包在Hadoop-1.2.1的contrib目录下是找不到的,需要自己在网上下载,或者自己配置也行。
2)打开window-->Preferens,发现Hadoop Map/Reduce选项,说明插件安装成功,配置Hadoop installation directory为本地Hadoop安装解压的目录。(注意:前提是要在window下下载Hadoop-1.2.1,并解压)
3)选择window-->show view-->others,选择有大象图标的Map/Reduce,打开Map/Reduce的开发环境,下方多了一个Map/Reduce Location的框。
图中出现的大象linux是我已经配好了的。
4)选择Map/reduce Location标签,点击标签最右边的大象图标,即齿轮图标右侧的大象图标,打开参数设置页面。
注意:用红色框标注的参数设置一定要正确,首先,Location name设置为linux的主机名,可以用hostname查看。Host为linux主机用户名。左边的PortMapReduce的端口号,之前在linux下配置Hadoop的xml文件已经配过了,按照配置的端口号配置就可以了。右边的为hdfs的端口号。配置完后点finish。
5)接着点击Advanced parameters,从中找到hadoop.tmp.dir,修改为Hadoop集群core-site.xml中配置的值。
6)接着在Advanced parameters中配置dfs.permssions,修改为false,与Hadoop集群【hdfs-site.xml】中配置的一致;将dfs.replication的值改为1.
其实,这些配置信息的设置都可以参考http://linux.chaofn.org:50030/jobhistoryhome.jsp中红色框中的内容进行配置
7)配置完成后,若在Project Explorer中出现如下信息,这表明配置成功