Win8上MyEclipse10开发hadoop的环境搭建和连接Linux集群
用了一整天的时间,终于搭建完成了hadoop开发环境。我的
之前用的centos来开发,开发是很方便,不过其它体验确实久了不能忍受。
今天换回win8发现hadoop开发成了问题。研究了一天,记录一下。
一,
1.首先是插件的安装,我选的是hadoop-eclipse-plugin用于hadoop1.0.2的版本。没有专门对应这个版本的插件,需要修改一下jar包。不过网上很多人已经改好了,随便下个便是。eg:http://download.csdn.net/detail/e10514001/4229811
2.下好之后,将jar包放到...MyEclipse\MyEclipse 10\dropins目录下,重启IDE。
3.“windows”-> "open perspective" -> "other",会看到一只小象map/reduce(如无,请勾上“show all”)。就可以打开
4.我的端口是mapreduce 9001,hdfs 9000其它要改的就是user,换成你linux集群的用户名,然后点advacned parameters把里面用看到不是你的集群用户名的字符串,全改成和集群里一致的。那个用户是插件System类拿到的,很可能是什么Adminstrator什么的,改掉它。
二,
1. 以上其实只是一个图形界面ui加了进来,hadoop Clouder CDH3B3之后的版本,是不能操作的。因为原本用hadoop.job.ugi参数可以直接对HDFS写操作,现在不可以了。我感觉这样也比较安全。可以放心的用线上集群做测试了(只要你的程序没有狂建目录的bug)。
2. 虽然ui不能操作,但是程序里还是可以的。这里要介绍一下,怎么在程序里连接,并取得写权限。
1)建一个map/reduce项目,拷贝下http://hadoop.apache.org/docs/r1.1.0/cn/mapred_tutorial.html里的wordcount代码,粘到自己的程序里。
2)在IDE里设置一下程序的启动参数如:/test/input/ /test/output,input目录是要提前建好的。然后启动。
我的1.0.2版本发现错误:Failed to set permissions of path: \tmp\hadoop-Administrator,的解决方法,更换hadoop-core-1.0.2-modified.jar包(网上有改 好的),这个是Windows下文件权限问题,在Linux下可以正常运行,不存在这样的问题。
3. 再次运行程序,发现在已经能启动,去集群上或者用ui看一下,已经有新的内容了。