摘要：
弹性分布式数据集：一种基于内存的集群计算的容（一）：摘要，引言弹性分布式数据集：一种基于内存的集群计算的容（二）：弹性分布式数据集（RDD）弹性分布式数据集：一种基于内存的集群计算的容（三）：Spark API，应用程序示例3. Spark APISpark用Scala语言实现了RDD的API。Scala是一种基于JVM的静态类型、函数式、面向对象的语言。我们选择Scala是因为它简 洁（特别适合交互式使用）、有效（因为是静态类型）。但是，RDD抽象并不局限于函数式语言，也可以使用其他语言来实现RDD，比如像Hadoop那样用 类表示用户函数。要使用Spark，开发者需要编写一个driver程 阅读全文
随笔分类 - Spark学习
RDD（转）：一种基于内存的集群计算的容错性抽象方法(二)
2013-01-29 11:40 by Polarisary, 665 阅读, 收藏,
摘要：
弹性分布式数据集：一种基于内存的集群计算的容（一）：摘要，引言弹性分布式数据集：一种基于内存的集群计算的容（二）：弹性分布式数据集（RDD）弹性分布式数据集：一种基于内存的集群计算的容（三）：Spark API，应用程序示例2.弹性分布式数据集（RDD）本部分描述RDD和编程模型。首先讨论设计目标（2.1），然后定义RDD（2.2），接着讨论Spark的编程模型（2.3），并给出一个示例（2.4），最后将RDD与分布式共享内存进行比较（2.5）。2.1 目标和概述我们的目标是为基于工作集（working set）的应用（即多个并行操作重用中间结果的这类应用）提供抽象，同时保持MapReduce 阅读全文
RDD（转）：一种基于内存的集群计算的容错性抽象方法(一)
2013-01-28 19:57 by Polarisary, 636 阅读, 收藏,
摘要：
弹性分布式数据集：一种基于内存的集群计算的容（一）：摘要，引言弹性分布式数据集：一种基于内存的集群计算的容（二）：弹性分布式数据集（RDD）弹性分布式数据集：一种基于内存的集群计算的容（三）：Spark API，应用程序示例原文出处：http://www.eecs.berkeley.edu/Pubs/TechRpts/2011/EECS-2011-82.pdf译文原处：http://bbs.sciencenet.cn/home.php?mod=space&uid=425672&do=blog&id=520947摘要：本文提出了弹性分布式数据集（RDD，Resilient 阅读全文
浙公网安备 33010602011771号