Spark2.0编译
1 前言
Spark2.0正式版于今天正式发布,本文基于CDH5.0.2的Spark编译。
2 编译步骤
#2.1 下载源码
wget https://github.com/apache/spark/archive/v2.0.0.tar.gz
#2.2 解压配置
基于CDH5.0.2配置pom文件,添加
<profile>
<id>cdh5.0.2</id>
<properties>
<hadoop.version>2.3.0-cdh5.0.2</hadoop.version>
<hbase.version>0.96.1.1-cdh5.0.2</hbase.version>
<zookeeper.version>3.4.5-cdh5.0.2</zookeeper.version>
</properties>
</profile>
编译:
build/mvn -Pyarn -Pcdh5.0.2 -Phive -Phive-thriftserver -Pnative -DskipTests package
报错1:
上述命令,由于国外maven.twttr.com被墙,添加hosts,199.16.156.89 maven.twttr.com,再次执行
报错2:找不到2.3.0-cdh5.0.2,查找pom文件,有关cloudrea源被移除,添加上:
<repository>
<id>cloudera-repo</id>
<name>Cloudera Repository</name>
<url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>false</enabled>
</snapshots>
</repository>
报错3:超时报错,重新执行
#2.3 成功如下:
我喜欢一无所有,这样就只能一步一步的创造世界...