编译Spark2.1.2源码

源码编译的shell脚本为 /dev/make-distribution.sh ,下载源码包解压就能找到。不同版本使用的参数有差异。可以直接查看make-distribution.sh文件。

下载spark源码包,解压缩 ,执行以下脚本

第一种:不支持R,python版本

./dev/make-distribution.sh --name spark-2.1.2-hadoop-2.7 --tgz -Dscala-2.11 -Phadoop-2.7 -Phive -Phive-thriftserver -Pyarn

第二种:支持R,python版本,由于我服务未安装R包,所以用下面的脚本虽然编译成功,但是未生产最终的文件.

./dev/make-distribution.sh --name spark-2.1.2-hadoop-2.7 --pip --r --tgz -Dscala-2.11 -PR -Phadoop-2.7 -Phive -Phive-thriftserver -Pyarn

 编译成功。

注意:

如果要支持SparkR, 必须安装R。

使用第一种方法编译成功后生成的最终文件。 

 

posted @ 2017-12-06 11:48  硅谷工具人  阅读(262)  评论(0编辑  收藏  举报
成功之道,在于每个人生阶段都要有不同的目标,并且通过努力实现自己的目标,毕竟人生不过百年! 所有奋斗的意义在于为个人目标实现和提升家庭幸福,同时能推进社会进步和国家目标! 正如古人讲的正心诚意格物致知,修身齐家治国平天下。