hadoop2.2.0安装及eclipse开发环境搭建
一.安装步骤见参考文献1。
遇到问题:
1.WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
这个是下载的版本是32位与机子64位不匹配的原因,貌似可以不用管。如果想去掉,下载源码编译。编译步骤见参考文献2。
2.运行程序的时候提示org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container.
解决办法:同步namenode和datanode的时间,ntp同步时间见参考文献3中的ntp安装部分。
二.构建eclipse开发环境。
1.将eclipse插件放到eclipse的plugins文件夹内(插件下载地址见参考文献4)。并重启eclipse。
2.重启后左边的Project exporer里可能看不到hdfs。要设置后才能看到。具体设置方法见参考文献5。由于5中是针对hadoop1.0的,所以port要换上2.0的port,详见参考文献6。
参考文献:
1.安装步骤:http://blog.csdn.net/licongcong_0224/article/details/12972889
2.hadoop2.2.0编译:http://www.cnblogs.com/hequn/articles/3564794.html
3.ntp同步集群时间:http://www.cnblogs.com/hequn/articles/3439504.html
4.hadoop2.0 eclipse插件下载地址:http://download.csdn.net/detail/acm_er6/6964345
5.hadoop1.0插件安装方法:http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html
6.hadoop2.0插件安装方法:http://blog.csdn.net/zythy/article/details/17397153