2018年6月5日

YARN-client提交任务处理过程

摘要： Client向RM提交任务的过程大致分为七步，如下图：1. Client向RM发出请求2. RM返回一个ApplicationID作为回应3. Client向RM回应Application Submission Context（ASC）。ASC包括Applicatio... 阅读全文

posted @ 2018-06-05 21:38 sichenzhao 阅读(884) 评论(0) 推荐(0) 编辑

资源控制平台介绍与YARN的优缺点

摘要： Yarn脱胎于MRv1,并克服了MRv1的种种不足。先来看看MRv1让人诟病的地方，主要是可靠性差、扩展性差、资源利用率低、无法支持异构的计算框架：1.可靠性差： MRv1是主从架构，主节点的JobTracker一旦出现问题就会导致整个集群不可用。2.扩展性差： MR... 阅读全文

posted @ 2018-06-05 15:13 sichenzhao 阅读(522) 评论(0) 推荐(0) 编辑

导航