随笔分类 - yarn

YARN调度架构中的AppMaster

摘要：YARN调度架构 esourceScheduler是YARN的调度器，负责Container的分配。 AsyncDispatcher是单线程的事件分发器，负责向调度器发送调度事件。 ResourceTrackerService是资源跟踪服务，主要负责接收处理NodeManager的心跳信息。 App 阅读全文

posted @ 2020-05-24 19:45 bitbitbyte 阅读(994) 评论(0) 推荐(0) 编辑

YARN调度器的性能瓶颈

摘要：DataNode主机上的AppMaster向ResoureSchedule请求资源, ResoureSchedule 向 AppMaster 返回资源. 同时这个过程是异步的. AppMaster是一个yarn任务运行时第一个由RM启动的container，然后负责整个任务的运行，包括contain 阅读全文

posted @ 2020-05-24 10:30 bitbitbyte 阅读(453) 评论(0) 推荐(0) 编辑