2016年12月8日
spark转换集合为RDD
摘要： SparkContext可以通过parallelize把一个集合转换为RDD 阅读全文
posted @ 2016-12-08 14:31 天之涯0204 阅读(10419) 评论(0) 推荐(0) 编辑
spark编写word count
摘要： 创建SparkContext对象的时候需要传递SparkConf对象，SparkConf至少需要包含spark.master和spark.app.name这两个参数，不然的话程序不能正常运行 maven pom.xml如下 打包提交spark集群运行 本地运行如果hdfs权限有问题，则可以按如下配置 阅读全文
posted @ 2016-12-08 14:24 天之涯0204 阅读(395) 评论(0) 推荐(0) 编辑
spark 源码安装
摘要： clone 源码 git clone git://github.com/apache/spark.git maven编译源码 国外镜像比较慢，此处修改maven仓库的镜像为阿里云镜像： 编译的时候内存设置大一点，以免内存溢出，导致编译失败，此处设置maven内存如下： mvn -Pyarn -Pha 阅读全文
posted @ 2016-12-08 14:21 天之涯0204 阅读(229) 评论(0) 推荐(0) 编辑
nexus
摘要： 下载地址：http://pan.baidu.com/s/1nvwIoa9 (Jfrog/Nexus) maven 仓库： http://mvnrepository.com/ 用户名密码分别是：admin/admin123 使用持续集成服务器（CI）： HUDSON jenkins 阅读全文
posted @ 2016-12-08 14:21 天之涯0204 阅读(114) 评论(0) 推荐(0) 编辑