摘要: 前面一篇应该算是比较详细的介绍了spark的基础知识,在了解了一些spark的知识之后相必大家对spark应该不算陌生了吧!如果你之前写过MapReduce,现在对spark也很熟悉的话我想你再也不想用MapReduce去写一个应用程序了,不是说MapReduce有多繁琐(相对而言),还有运行的效率 阅读全文
posted @ 2018-01-07 16:50 兮夜那么美 阅读(6265) 评论(1) 推荐(0) 编辑
摘要: 在讲spark之前,不得不详细介绍一下RDD(Resilient Distributed Dataset),打开RDD的源码,一开始的介绍如此: 字面意思就是弹性分布式数据集,是spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。 Resilient:弹性的,它表示的 阅读全文
posted @ 2018-01-07 01:11 兮夜那么美 阅读(5425) 评论(0) 推荐(0) 编辑