Spark—编译Spark源码

Spark版本：Spark-2.1.0

Hadoop版本：hadooop-2.6.0-cdh5.7.0

官方文档：http://spark.apache.org/docs/latest/building-spark.html

一、环境配置

安装并配置好JDK

安装并配置好MAVEN

安装并配置好SCALA

注意：jdk要8以上，maven要3.3.9版本以上

 

二、在spark源码中的pom.xml中添加cdh仓库源

 <repository>
        <id>cloudera-releases</id>
        <name>cdh</name>
        <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
 </repository>

 

三、使用make-distribution.sh脚本编译生成可运行包

./dev/make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz  -Pyarn -Phadoop-2.6 
-Phive -Phive-thriftserver -Dhadoop.version=2.6.0-cdh5.7.0