摘要: 一,RDD概述 1.1 什么是RDD 1.2 RDD的属性 二,创建RDD 三,RDD编程API 3.1 Transformation 3.2 Action 3.3 WordCount 3.4 练习 四,RDD的依赖关系 4.1 窄依赖 4.2 宽依赖 4.3 Lineage 正文 一,RDD概述 阅读全文
posted @ 2019-06-04 21:43 他山之石·玉 阅读(653) 评论(0) 推荐(0) 编辑
摘要: 一,简介 二,角色介绍 三,启动流程图 正文 一,简介 Standalone模式下,集群启动时包括Master与Worker,其中Master负责接收客户端提交的作业,管理Worker。提供了Web展示集群与作业信息。 二,角色介绍 Client(SparkSubmit):客户端进程,负责提交作业到 阅读全文
posted @ 2019-06-04 19:18 他山之石·玉 阅读(759) 评论(0) 推荐(0) 编辑