摘要: Hadoop作业调度器主要有三种:FIFO、Capacity Scheduler和Fair Scheduler Hadoop2.7.2默认的资源调度器是Capacity Scheduler。 1、FIFO 调度器 先进先出, 作业按照先进的顺序排队,先到的先处理 2、容量调度器 Capcity Sc 阅读全文
posted @ 2020-03-14 14:46 抽象Java 阅读(143) 评论(0) 推荐(0) 编辑
摘要: YARN工作机制 作业提交全过程详解 (1)作业提交 第1步:Client调用job.waitForCompletion方法,向整个集群提交MapReduce作业。 第2步:Client向RM申请一个作业id。 第3步:RM给Client返回该job资源的提交路径和作业id。 第4步:Client提 阅读全文
posted @ 2020-03-14 14:32 抽象Java 阅读(193) 评论(0) 推荐(0) 编辑