2020年8月21日
Yarn集群资源管理器
摘要： 一、Yarn 架构 1.1 基本概念 Yarn 采用传统的 master-slave 架构模式，其主要由 4 种组件组成，它们的主要功能如下： ResourceManager（RM）：全局资源管理器，负责整个系统的资源管理和分配； 处理客户端请求 启动/监控ApplicationMaster 监控N 阅读全文
posted @ 2020-08-21 16:43 笨小康u 阅读(1217) 评论(0) 推荐(0) 编辑
Presto 运行机制简介
摘要： 一、Presto 执行过程 Presto 执行流程图 Presto 查询引擎是一个 Master-Slave 架构，主要包括： Client：提交数据操作的窗口 Coordinator：负责解析 SQL 语句，生成执行计划，分发执行任务给 Worker 节点执行。 Discovery Server： 阅读全文
posted @ 2020-08-21 15:28 笨小康u 阅读(1102) 评论(0) 推荐(0) 编辑
Spark on Yarn运行机制
摘要： 一、Spark 相关术语 Driver（通常用 SparkContext 代表 Drive）：表示运行 Application的main() 函数，并创建 SparkContext。其中创建 SparkContext 的目的是为了准备 Spark 应用程序的运行环境。在 Spark 中由 Spark 阅读全文
posted @ 2020-08-21 11:43 笨小康u 阅读(800) 评论(0) 推荐(0) 编辑