CDH版本hadoop重新编译
一、编译环境的准备（资源链接如下）
https://pan.baidu.com/s/1GoOW30RGR1B21JkuKdHFdA
准备linux环境
准备一台linux环境，内存4g或以上，硬盘40g或以上，这里使用的是Centos6.9 64位的操作系统（ 注意：一定要使用 64 位的操作系统）。
关闭防火墙命令：
service iptables stop
chkconfig iptables off
关闭selinux
vim /etc/selinux/config
安装jdk1.7
注意：亲测证明 hadoop-2.6.0-cdh5.14.0 这个版本的编译， 只能使用 jdk1.7，如果使用 jdk1.8 那么就会报错。
查找出 centos6.9 系统自带的 openjdk
rpm -qa | grep java
将所有这些 openjdk 全部卸载掉
rpm -e xxxx(包名) 
将 oracle 公司的 jdk 的安装包上传服务器并且解压
mkdir -p /export/servers
mkdir -p /export/software
cd /export/software
tar -zxvf jdk-7u71-linux-x64.tar.gz -C ../servers/
配置环境变量
vim /etc/profile
export JAVA_HOME=/export/servers/jdk1.7.0_71
export PATH=:$JAVA_HOME/bin:$PATH
重新加载环境变量文件，立即生效
source /etc/profile
安装maven
理论上使用 maven3.x 以上的版本应该都可以， 此处不建议使用太高的版本。
将 maven 的安装包上传到/export/softwares， 然后解压 maven 的安装包到
/export/servers
cd /export/softwares/
tar -zxvf apache-maven-3.0.5-bin.tar.gz -C ../servers/北京市昌平区建材城西路金燕龙办公楼一层 电话： 400-618-9090
配置 maven 的环境变量
vim /etc/profile
export MAVEN_HOME=/export/servers/apache-maven-3.0.5
export MAVEN_OPTS="-Xms4096m -Xmx4096m"
export PATH=:$MAVEN_HOME/bin:$PATH
让修改立即生效
source /etc/profile
解压已经下载好的一份 maven 仓库， 用来编译 hadoop 会比较快。
tar -zxvf mvnrepository.tar.gz -C /export/servers/
修改 maven 的配置文件
cd /export/servers/apache-maven-3.0.5/conf
vim settings.xml指定我们本地仓库存放的路径
添加阿里云镜像地址
安装findbugs
解压 findbugs
tar -zxvf findbugs-1.3.9.tar.gz -C ../servers/
配置 findbugs 的环境变量
vim /etc/profile
export FINDBUGS_HOME=/export/servers/findbugs-1.3.9
export PATH=:$FINDBUGS_HOME/bin:$PATH
让修改立即生效
source /etc/profile在线安装一些依赖包
yum install autoconf automake libtool cmake
yum install ncurses-devel
yum install openssl-devel
yum install lzo-devel zlib-devel gcc gcc-c++
bzip2 压缩需要的依赖包
yum install -y bzip2-devel安装protobuf
解压 protobuf 并进行编译
cd /export/softwares
tar -zxvf protobuf-2.5.0.tar.gz -C ../servers/
cd /export/servers/protobuf-2.5.0
./configure
make && make install安装snappy
cd /export/softwares/
tar -zxf snappy-1.1.1.tar.gz -C ../servers/
cd ../servers/snappy-1.1.1/
./configure
make && make install下载cdh源码准备编译
源码下载地址为：
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0-
src.tar.gz
解压 cdh 源码进行编译
tar -zxvf hadoop-2.6.0-cdh5.14.0-src.tar.gz -C ../servers/
cd /export/servers/hadoop-2.6.0-cdh5.14.0
编译不支持 snappy 压缩：
mvn package -Pdist,native -DskipTests –Dtar
编译支持 snappy 压缩：
mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy
编译完成之后安装包的 tar.gz 文件就在下面这个路径里面
常见编译错误
如果编译时候出现这个错误：
An Ant BuildException has occured: exec returned: 2
这是因为 tomcat 的压缩包没有下载完成， 需要自己下载一个对应版本的 apachetomcat-6.0.53.tar.gz 的压缩包放到指定路径下面去即可
这两个路径下面需要放上这个 tomcat 的 压缩包
/export/servers/hadoop-2.6.0-cdh5.14.0/hadoop-hdfsproject/hadoop-hdfs-httpfs/downloads
/export/servers/hadoop-2.6.0-cdh5.14.0/hadoop-commonproject/hadoop-kms/downloads
