spark源码编译

spark编译的坑并不多，最早编译时spark1.2的版本是2015年的事情了，现在spark迭代更新到2.3版本了，架构和功能变化可谓很多。于是今天重新编译下源码，记录下编译的过程。

本次编译过程是在win10版本，jdk版本为1.8，scala版本为2.11，maven版本为3.2.

1、首先git clone github的spark源码到本地。

https://github.com/apache/spark

然后直接输编译命令：

编译的时候出现如下错误：

Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1

一般是maven的插件问题引起，网上一搜一堆解决方案。方法如下：

pom中如下配置maven插件，配置中声明使用JDK1.8：

这里的${JAVA8_HOME}这个变量是在settings.xml中配置的，如下：

 

当然这里应该需要激活，所以settings.xml文件还应该有如下配置：

 

同时maven的镜像源修改为阿里的镜像：

然后重新编译， 编译成功，如图：