使用Myeclipse 2015 进行 Hdp 4 windows 开发
在本地环境下进行开发,使用cygwin安装 Hdp那就是一个呵呵岂能概括。
所以啊,还是用Hdp windows进行开发测试吧。这样感觉省心点。具体 Hdp windows的安装参看前面的文章或自行Google。
那为什么要用Java来开发Hdp呢? C# 本可以运行在 Hdp 4 windows的,通过最近一段时间对于它的了解,发现C#在Hadoop一族的上表现除了MR,OOZie,Hive之类还凑合着能用吧。其它如Strom除了运行在Azure上的功能外,并且VS.net也支持了,但暂时只能在Azure运行。对于不想使用它或不想受限于它来说,简直就是灾难。Hadoop的SDK更新方面有新生性也没有。
我们还是用Java原生来开发一些应用,这样来得简单直白。
1,下载Myeclipse 2015 。安装略,破解略(反正我先试用)。
2,下载最新版本的插件。
https://github.com/winghc/hadoop2x-eclipse-plugin/tree/master/release
我是用的最新的 2.60.
3,再启动Eclipse 就可以找到MapReduce 视图了。
4,新建配置Hdfs 连接。
这个配置在我本机上,对于集群,权限方面可就不能这么干了。
虽然我的User是 hadoop ,但对于实际访问还是Adminsitrator。所以,后面有一点里会提到,如果在权限方面进行“暂时”的解除。
我查了有些资料说要把当前用户改成Hadoop用户,这样就可以了。(算了,我不改了,我更喜欢Administrator这个名字)
下面就可以从DfsLoaction 里看到相应的文件系统了。
5,对于 error permission denied: user=administrator
既然也是开发环境,无所谓的事情了,关了安全验证。
%hadoop_home%\etc\hadoop\hdfs-site.xml
中
<name>dfs.permissions.enabled</name>
<value>false</value>
重启,OK。
好了,有权限了。可以操作了。
Over。