2018年4月4日
Introducing Apache Spark Datasets（中英双语）
摘要： 文章标题 Introducing Apache Spark Datasets 作者介绍 Michael Armbrust, Wenchen Fan, Reynold Xin and Matei Zaharia 文章正文 Developers have always loved Apache Spar 阅读全文
posted @ 2018-04-04 16:49 虾皮 阅读(540) 评论(0) 推荐(0) 编辑
Introducing DataFrames in Apache Spark for Large Scale Data Science（中英双语）
摘要： 文章标题 Introducing DataFrames in Apache Spark for Large Scale Data Science 一个用于大规模数据科学的API——DataFrame 作者介绍 Reynold Xin, Michael Armbrust and Davies Liu 阅读全文
posted @ 2018-04-04 15:49 虾皮 阅读(591) 评论(0) 推荐(0) 编辑
  2018年4月3日
A Tale of Three Apache Spark APIs: RDDs, DataFrames, and Datasets（中英双语）
摘要： 文章标题 A Tale of Three Apache Spark APIs: RDDs, DataFrames, and Datasets 且谈Apache Spark的API三剑客：RDD、DataFrame和Dataset When to use them and why 什么时候用他们，为什 阅读全文
posted @ 2018-04-03 20:52 虾皮 阅读(549) 评论(0) 推荐(0) 编辑
Spark 官方博文专区（目录）
摘要： 关于转载一些 Spark 官方的文档以及 DataBricks 公司博文，本系列基本是中英双语，主要是为了提高自己的英语水平。 文章分类 spark databricks A Tale of Three Apache Spark APIs: RDDs, DataFrames, and Dataset 阅读全文
posted @ 2018-04-03 20:38 虾皮 阅读(946) 评论(0) 推荐(0) 编辑
设计数据密集型应用（中英双语）
摘要： 中文名：《设计数据密集型应用》 英文名：《Designing Data-Intensive Applications》 作者： Martin Kleppmann 英文电子书：Designing Data-Intensive Applications 中文翻译书：设计数据密集型应用 阅读全文
posted @ 2018-04-03 11:08 虾皮 阅读(8264) 评论(0) 推荐(1) 编辑
  2018年4月2日
PySpark 的背后原理
摘要： 文章正文 Spark主要是由Scala语言开发，为了方便和其他系统集成而不引入scala相关依赖，部分实现使用Java语言开发，例如External Shuffle Service等。总体来说，Spark是由JVM语言实现，会运行在JVM中。然而，Spark除了提供Scala/Java开发接口外，还 阅读全文
posted @ 2018-04-02 17:30 虾皮 阅读(5711) 评论(0) 推荐(0) 编辑
Spark Scheduler内部原理剖析
摘要： 文章正文 通过文章“Spark 核心概念RDD”我们知道，Spark的核心是根据RDD来实现的，Spark Scheduler则为Spark核心实现的重要一环，其作用就是任务调度。Spark的任务调度就是如何组织任务去处理RDD中每个分区的数据，根据RDD的依赖关系构建DAG，基于DAG划分Stag 阅读全文
posted @ 2018-04-02 16:51 虾皮 阅读(2590) 评论(0) 推荐(1) 编辑
Spark 底层网络模块
摘要： 文章正文 对于分布式系统来说，网络是最基本的一环，其设计的好坏直接影响到整个分布式系统的稳定性及可用性。为此，Spark专门独立出基础网络模块spark-network，为上层RPC、Shuffle数据传输、RDD Block同步以及资源文件传输等提供可靠的网络服务。在spark-1.6以前，RPC 阅读全文
posted @ 2018-04-02 15:39 虾皮 阅读(1140) 评论(0) 推荐(0) 编辑
Spark 核心概念RDD
摘要： 文章正文 RDD全称叫做弹性分布式数据集(Resilient Distributed Datasets)，它是一种分布式的内存抽象，表示一个只读的记录分区的集合，它只能通过其他RDD转换而创建，为此，RDD支持丰富的转换操作(如map, join, filter, groupBy等)，通过这种转换操 阅读全文
posted @ 2018-04-02 14:15 虾皮 阅读(3013) 评论(0) 推荐(0) 编辑
Spark 精品文章转载（目录）
摘要： 学习 Spark 中，别人整理不错的文章，转载至本博客，方便自己学习，并按照不同的模块归档整理。每个文章作者能力不同，写文章所处的时间点不同，可能会略有差异，在阅读的同时，注意当时的文章的内容是否已经过时。 文章分类 Spark Core RDD Spark 核心概念RDD RPC Network 阅读全文
posted @ 2018-04-02 14:04 虾皮 阅读(875) 评论(0) 推荐(0) 编辑