01 2016 档案

Spark编译与打包
摘要：编译打包 Spark支持Maven与SBT两种编译工具，这里使用了Maven进行编译打包； 在执行make distribution脚本时它会检查本地是否已经存在Maven还有当前Spark所依赖的Scala版本，如果不存在它会自动帮你下载到build目录中并解压使用；Maven源最好... 阅读全文
posted @ 2016-01-14 21:43 AiFly 阅读(1657) 评论(0) 推荐(0)
Spark核心——RDD
摘要：Spark中最核心的概念为 RDD（Resilient Distributed DataSets） 中文为： 弹性分布式数据集 ，RDD为对分布式内存对象的 抽象它表示一个 被分区不可变 且能 并行操作 的数据集；RDD为可序列化的、可缓存到内存对RDD进行操作过后还可以存到内存中，下次操作直接把内... 阅读全文
posted @ 2016-01-09 17:31 AiFly 阅读(582) 评论(0) 推荐(0)
Spark运行模式与Standalone模式部署
摘要：上节中简单的介绍了 Spark 的一些概念还有Spark生态圈的一些情况，这里主要是介绍Spark运行模式与Spark Standalone模式的部署； Spark运行模式 在 Spark 中存在着多种运行模式，可使用本地模式运行、可使用伪分布式模式运行、使用分布式模式也存在多种模式如：S... 阅读全文
posted @ 2016-01-05 07:44 AiFly 阅读(7237) 评论(0) 推荐(1)

点击右上角即可分享
微信分享提示