spark2.4.2 源码编译
基于Maven的构建是Apache Spark的参考构建。使用Maven构建Spark需要Maven 3.5.4
和Java 8
.请注意,从Spark 2.2.0开始,对Java 7的支持已被删除。
包:
jdk-8u51-linux-x64.tar.gz
apache-maven-3.3.9-bin.tar.gz
spark-2.4.2.tgz
scala-2.11.8.tgz
1、maven中的设置
需要通过设置来配置Maven以使用比平时更多的内存MAVEN_OPTS
:
$ export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"
设置MAVEN的镜像地址:
$ vi $MAVEN_HOME/conf/setting.xml

2、spark中的设置
$ cd /home/hadoop/app/spark-2.4.2
$ vi pom.xml

注意: 如果强制使用maven3.3.9版本,需要改maven版本(默认3.5.4)

3、编译
./dev/make-distribution.sh \
--name 2.6.0-cdh5.7.0 \
--tgz \
-Pyarn -Phadoop-2.6 \
-Phive -Phive-thriftserver \
-Dhadoop.version=2.6.0-cdh5.7.0