Spark记录（三）：详细拆解Spark代码执行流程
摘要：在该系列的上一篇文章中，较为详细的描述了Spark程序的生命周期，这一篇我们以一段Spark代码为例，来详细拆解一下Spark程序的执行过程。 一、示例代码： val ss = SparkSession.builder().appName("localhost").master("local[*]"
阅读全文
posted @
2021-11-07 15:56
淡墨痕
阅读(1541)
推荐(0) 编辑
Spark记录（二）：Spark程序的生命周期
摘要：本文以Spark执行模式中最常见的集群模式为例，详细的描述一下Spark程序的生命周期（YARN作为集群管理器）。 1、集群节点初始化 集群刚初始化的时候，或者之前的Spark任务完成之后，此时集群中的节点都处于空闲状态，每个服务器（节点）上，只有YARN的进程在运行（环境进程不在此考虑范围内），集
阅读全文
posted @
2021-11-07 14:29
淡墨痕
阅读(556)
推荐(0) 编辑
Spark记录（一）：Spark全景概述
摘要：一、Spark是什么 Spark是一个开源的大数据处理引擎。 二、Spark的主要组件如下图所示： 三、Spark运行时架构 Spark共有三种运行模式：本地模式、集群模式、客户端模式。 生产环境基本都是用集群模式。集群模式需要用到集群管理器，三个核心的集群管理器为：Spark自带的独立集群管理器、
阅读全文
posted @
2021-11-06 23:17
淡墨痕
阅读(210)
推荐(0) 编辑
