[Hadoop] - Hadoop3.0.x编译

这里仅介绍一种Hadoop3.0.x版本的源码编译方式

编译过程

  1. 下载源码

  2. 安装依赖环境

  3. 源码编译

=============================================

一、下载源码

直接从apache的归档网站中下载对应版本的源码，比如需要下载的hadoop-3.0.0-alpha2的地址为http://archive.apache.org/dist/hadoop/core/hadoop-3.0.0-alpha2/; 直接下载源码包：hadoop-3.0.0-alpha2-src.tar.gz

 

二、安装依赖环境

hadoop的编译需要依赖cmake、openssl等相关依赖环境，如果在编译hadoop之前没有进行必要环境的安装的话，可能会出一些异常问题，部分异常解决将博客：[Hadoop] - Cannot run program "cmake"、[Hadoop] - Protocol Buffer安装； 必要服务列表为：

* Unix System ## Unix类型的操作系统
* JDK 1.8+ ## JDK至少1.8版本
* Maven 3.0 or later ## Maven环境3.x版本以上，最好将maven的源修改为国内源，默认国外源可能连接不上
* Findbugs 1.3.9 (if running findbugs) ## 可选
* ProtocolBuffer 2.5.0 ## 必须，版本不要选择错误了
* CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac ## 进行native编译过程中必须服务
* Zlib devel (if compiling native code) ## cmake服务需要
* openssl devel (if compiling native hadoop-pipes and to get the best HDFS encryption performance) ## cmake服务需要
* Linux FUSE (Filesystem in Userspace) version 2.6 or above (if compiling fuse_dfs) 
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)
* python (for releasedocs)
* bats (for shell code testing)
* Node.js / bower / Ember-cli (for YARN UI v2 building)

 

 

三、源码编译

进行源码压缩包解压，然后进入解压后的文件夹，执行相关maven命令进行源码编译操作

假设解压后，hadoop源码位于文件夹：/opt/workspaces/hadoop-3.0.0-alpha2-src中；支持的maven命令如下：

Maven build goals:

 * Clean                     : mvn clean [-Preleasedocs]
 * Compile                   : mvn compile [-Pnative]
 * Run tests                 : mvn test [-Pnative] [-Pshelltest]
 * Create JAR                : mvn package
 * Run findbugs              : mvn compile findbugs:findbugs
 * Run checkstyle            : mvn compile checkstyle:checkstyle
 * Install JAR in M2 cache   : mvn install
 * Deploy JAR to Maven repo  : mvn deploy
 * Run clover                : mvn test -Pclover [-DcloverLicenseLocation=${user.name}/.clover.license]
 * Run Rat                   : mvn apache-rat:check
 * Build javadocs            : mvn javadoc:javadoc
 * Build distribution        : mvn package [-Pdist][-Pdocs][-Psrc][-Pnative][-Dtar][-Preleasedocs][-Pyarn-ui]
 * Change Hadoop version     : mvn versions:set -DnewVersion=NEWVERSION

 

Maven相关参数如下：

 Build options:

  * Use -Pnative to compile/bundle native code ## 进行本地库代码编译
  * Use -Pdocs to generate & bundle the documentation in the distribution (using -Pdist) ## 进行帮助文档编译
  * Use -Psrc to create a project source TAR.GZ ## 将源码打包到最后编译好的文件夹中
  * Use -Dtar to create a TAR with the distribution (using -Pdist) ## 对编译好的文件进行打包操作
  * Use -Preleasedocs to include the changelog and release docs (requires Internet connectivity) ## 升级文档编译
  * Use -Pyarn-ui to build YARN UI v2. (Requires Internet connectivity) ## 支持yarn v2的ui

 

几个常用的编译命令：

1. mvn package -Pdist -DskipTests -Dtar -Dmaven.javadoc.skip=true ## 仅编译正常源码部分，对于native部分不进行编译，最终结果打包

2. mvn package -Pdist,native,docs -DskipTests -Dtar ## 编译正常部分源码、native依赖库以及帮助文档，最终结果打包

执行mvn package -Pdist,native,docs -DskipTests -Dtar命令后，等等一段时间(根据网络情况而定，一般30分钟左右能够完成编译)，完成编译后，命令行输出为：

编译好的文件位于路径/opt/workspaces/hadoop-3.0.0-alpha2-src/hadoop-dist/target中，即当前目录的hadoop-dist子目录的target文件夹中，文件截图为：

 

 ==================================

至此，hadoop3.0编译完成

编译环境：

  centos6.5 64位 1核2G 

  JDK 1.8.0_121

  Maven 3.3.3

    Maven源：aliyun maven源 ==> http://maven.aliyun.com/nexus/content/groups/public/

  ProtocolBuffer 2.5.0

  Cmake 2.8.12.2