摘要: 1 概述 为了增大并发性,Yarn采用事件驱动的并发模型,将各种处理逻辑抽象成事件和调度器,将事件的处理过程用状态机表示。什么是状态机? 如果一个对象,其构成为若干个状态,以及触发这些状态发生相互转移的事件,那么此对象称之为状态机。 处理请求作为某种事件发送到系统中,由一个中央调度器传递给对应的事件 阅读全文
posted @ 2018-08-23 16:36 北漂-boy 阅读(780) 评论(0) 推荐(0) 编辑
摘要: 前言: 在有些情况下,运行于Hadoop集群上的一些mapreduce作业本身的数据量并不是很大,如果此时的任务分片很多,那么为每个map任务或者reduce任务频繁创建Container,势必会增加Hadoop集群的资源消耗,并且因为创建分配Container本身的开销,还会增加这些任务的运行时延 阅读全文
posted @ 2018-08-23 14:22 北漂-boy 阅读(1838) 评论(0) 推荐(0) 编辑