摘要: 调度器scheduler是yarn中重要角色之一,它负责分配container资源给application,有如下三种调度器可供配置选择,分别是FIFO Scheduler,Capacity Scheduler和Fair Scheduler,可以通过yarn site.xml配置自己的调度器。 FI 阅读全文
posted @ 2019-10-07 23:53 斐波那切 阅读(792) 评论(0) 推荐(0) 编辑
摘要: 以MapReduce为例,提交一个MapReduce application的大致流程如下,其中Resource Manager简写为RM,Node Manager简写为NM,Application Master简写为AM。 提交application大致流程 (1)首先client里执行一个Map 阅读全文
posted @ 2019-10-07 23:45 斐波那切 阅读(1849) 评论(2) 推荐(0) 编辑