本地编译64位hadoop并进行部署。
我是接着用上次已经部署好的环境,故已经有ssh以及java。没有安装这两个的朋友可以看本人关于伪分布式安装的博文。
首先是输入命令sudo apt-get install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config libssl-dev,安装完这些准备工具后,下载protobuf-2.5.0.tar.gz,解压到主目录下,输入./configure,make & make install 这三个命令进行安装,安装成果如图。
可以看到这时有protoc这个文件,再看看是否已经添加到/bin目录下。这里是因为要编译64位的hadoop,是需要protoc这个工具。接下来是安装maven。如图。
接下来就是下载源码包,这里下载的是release-2.3.0。然后输入如图所示的命令进行编译。如图。
我是晚上十点多开始编译的,然后睡着了。。。早上起来发现成果,如图。这个的确是需要一些时间,因为编译的过程中还需要下载一些额外的包,还需要网络比较好,所以一般建议朋友们挑晚上进行编译。
如下图。其实我们搞了这么久就是为了下面/native目录中的那个hadoop的64位本地库libhadoop.so.1.0.0。好了,这下完全搞掂了!!
接下来就是安装我们搞出来的64位hadoop啦!!!伪分布、完全分布,任君选择!!
我这里是安装伪分布式。po出几张配置文件的图。给大家做参考。
然后就是格式化NN,然后就可以启动集群了!到这里就搞掂啦!