编译spark-0.9.1
准备工作:注意 spark-0.9.1 要求 scala-2.10.x 版本,sbt-0.12.4版本。
centos 6.4 x64 系统,java 1.7.0 x64
1,安装 scala-2.10.x
2, 安装sbt-0.12.4
download rpm,
http://www.scala-sbt.org/release/docs/Getting-Started/Setup.html
#yum localinstall sbt.rpm
自动下载 java-1.5.0-gcj 等依赖。
安装完毕,检查版本
# sbt --version
编译:
下载spark-0.9.1.tgz
1.命令行
#cd spark-0.9.1
该版本默认hadoop的版本是1.0.4 ,如指定hadoop 2.2.0,执行命令:
#SPARK_HADOOP_VERSION=2.2.0 SPARK_YARN=true sbt/sbt assembly
2. IDE berkeley 用IntelliJ IDEA, 命令行创建IDEA 工程、
#sbt/sbt update gen-idea
=================
Spark 0.9.1源码编译
http://www.iteblog.com/archives/1016
build spark 0.9.0 on yarn
http://www.cnblogs.com/littlesuccess/p/3558827.html
Spark-0.9.1编译安装和运行
http://www.micmiu.com/bigdata/spark/spark-build-run/
spark-user-list
http://apache-spark-user-list.1001560.n3.nabble.com/