2014年12月26日

【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第3节：Spark架构设计(2)

摘要： 三，深入RDD RDD本身是一个抽象类，具有很多具体的实现子类：RDD都会基于Partition进行计算：默认的Partitioner如下所示：其中HashPartitioner的文档说明如下：另外一种常用的Partitioner是RangePartitioner：RDD在持久化的需要考虑内存策略：... 阅读全文

posted @ 2014-12-26 13:11 spark亚太研究院 阅读(300) 评论(0) 推荐(0) 编辑

【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第3节：Spark架构设计(1)

摘要： 一、以RDD为基石的Spark编程模型 在Spark中一切都是基于RDD的：什么是RDD呢？官方给出的解释是：也就是说每个RDD都至少有以下三个函数实现:Spark自带了非常多的RDD:RDD主要分为两种：其中的transformations是lazyexecution的，需要具体的action去触... 阅读全文

posted @ 2014-12-26 12:53 spark亚太研究院 阅读(199) 评论(0) 推荐(0) 编辑

【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节：Spark架构设计(2)

摘要： 三，Spark的RDD在Spark中一切都是以RDD为基础和核心的：每个RDD的API如下所示：Spark官方文档中给出了的众多的RDD：RDD中的操作分为transformations和actions两种：下面举一个例子来说明RDD的使用：另外有两个特殊的RDD:他们都是controllingop... 阅读全文

posted @ 2014-12-26 12:46 spark亚太研究院 阅读(172) 评论(0) 推荐(0) 编辑

【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节：Spark架构设计(1)

摘要： 一、到底什么是Spark？Spark是一个通用的大数据计算平台，基于“OneStacktorulethemall”的理念成功成为了一体化多元化的大数据处理平台，轻松应对大数据处理中的实时流计算、SQL交互式查询、机器学习和图计算等：Spark源于BDAS:基于该技术堆栈，Spark目前已经成为大数据... 阅读全文

posted @ 2014-12-26 12:41 spark亚太研究院 阅读(212) 评论(0) 推荐(0) 编辑

导航