Spark 1.6.1源码编译

二． Spark 源码编译，针对不同版本的Hadoop 版本
Spark版本：spark-1.6.1
1. 下载spark-1.6.1
http://spark.apache.org/downloads.html

2. 解压到/opt/modules/目录下
tar xzvf /opt/softwares/spark-1.6.1.tgz -C /opt/modules/

3. 修改/opt/modules/spark-1.6.1/make-distribution.sh

 

4. 编译
(1) CDH版本
编译命令：./make-distribution.sh --tgz -Phadoop-2.4 -Dhadoop.version=2.5.0-cdh5.3.6 -Pyarn -Phive-0.13.1 -Phive-thriftserver

(2) Apache版本
编译之前修改/opt/modules/spark-1.6.1/make-distribution.sh

编译命令：./make-distribution.sh --tgz -Phadoop-2.4 -Dhadoop.version=2.5.0 -Pyarn -Phive-0.13.1 -Phive-thriftserver