08 2020 档案

【Yarn源码分析】ApplicationMaster源码分析
摘要：本文主要介绍 ApplicationMaster 的运行流程，并从 ApplicationMaster 的启动、注册/心跳、Container 资源申请与分配三个角度分析相关源码。其中花了大量篇幅介绍 ApplicationMaster 的启动过程，包括任务提交流程、App/Attempt 转换过程 阅读全文
posted @ 2020-08-26 17:29 笨小康u 阅读(2940) 评论(0) 推荐(1)
【Yarn源码分析】FairScheduler资源调度
摘要：一、Yarn 资源调度方式 资源调度方式确定了当任务提交到集群，如何为其分配资源执行任务。在 FairScheduler 中提供了两种资源调度方式：心跳调度和连续调度。 心跳调度方式：NodeManager 向 ResourceManager 汇报了自身资源情况（比如，当前可用资源，正在使用的资源， 阅读全文
posted @ 2020-08-26 17:04 笨小康u 阅读(2539) 评论(0) 推荐(0)
Yarn集群资源管理器
摘要：一、Yarn 架构 1.1 基本概念 Yarn 采用传统的 master-slave 架构模式，其主要由 4 种组件组成，它们的主要功能如下： ResourceManager（RM）：全局资源管理器，负责整个系统的资源管理和分配； 处理客户端请求 启动/监控ApplicationMaster 监控N 阅读全文
posted @ 2020-08-21 16:43 笨小康u 阅读(1361) 评论(0) 推荐(0)
Presto 运行机制简介
摘要：一、Presto 执行过程 Presto 执行流程图 Presto 查询引擎是一个 Master-Slave 架构，主要包括： Client：提交数据操作的窗口 Coordinator：负责解析 SQL 语句，生成执行计划，分发执行任务给 Worker 节点执行。 Discovery Server： 阅读全文
posted @ 2020-08-21 15:28 笨小康u 阅读(1252) 评论(0) 推荐(0)
Spark on Yarn运行机制
摘要：一、Spark 相关术语 Driver（通常用 SparkContext 代表 Drive）：表示运行 Application的main() 函数，并创建 SparkContext。其中创建 SparkContext 的目的是为了准备 Spark 应用程序的运行环境。在 Spark 中由 Spark 阅读全文
posted @ 2020-08-21 11:43 笨小康u 阅读(978) 评论(0) 推荐(0)
10k规模集群INT类型超限导致RM hang住分析
摘要：我们在测试环境部署了一套 sls 模拟环境，当集群规模达到 10k 台 NM 节点时，会出现两个异常现象： Yarn UI 页面显示的 NM 数量达不到 10k 规模； 客户端提交的 APP 一直处于 Accept 状态，无法分配资源。 先直接说结论，具体原因在后面分析。这个问题的解决，其实归结到一 阅读全文
posted @ 2020-08-07 15:43 笨小康u 阅读(486) 评论(0) 推荐(0)
Spark 内存管理模型详解
摘要：一、Spark 内存介绍 在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor 两种JVM进程。 Driver 程序主要负责： 创建 Spark上下文； 提交 Spark作业（Job）并将 Job 转化为计算任务（Task）交给 Executor 计算； 协调 阅读全文
posted @ 2020-08-04 15:27 笨小康u 阅读(3836) 评论(1) 推荐(0)