Riordon

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: :: :: 管理 ::

2016年7月27日

摘要: Spark2.0编译 1 前言 Spark2.0正式版于今天正式发布,本文基于CDH5.0.2的Spark编译。 2 编译步骤 2.1 下载源码 wget https://github.com/apache/spark/archive/v2.0.0.tar.gz 2.2 解压配置 基于CDH5.0. 阅读全文
posted @ 2016-07-27 18:48 Riordon 阅读(704) 评论(0) 推荐(0) 编辑

摘要: 老司机的spark maven pom文件 pom文件一: 4.0.0 com.glsx spark demo 1.0 SNAPSHOT jar spark demo http://maven.apache.org UTF 8 1.7 2.10.5 ${artifactId} <! 构建JDK ma 阅读全文
posted @ 2016-07-27 18:36 Riordon 阅读(781) 评论(0) 推荐(0) 编辑

摘要: 有时linux系统中装了很多应用,我们又不能覆盖系统中设置的版本,此时我们就需要在脚本文件中设置特定版本。 export JAVA_HOME= export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH= 阅读全文
posted @ 2016-07-27 10:55 Riordon 阅读(1366) 评论(0) 推荐(0) 编辑