摘要: 背景随着集群规模和负载增加,MapReduce JobTracker在内存消耗,线程模型和扩展性/可靠性/性能方面暴露出了缺点,为此需要对它进行大整修。需求当我们对Hadoop MapReduce框架进行改进时,需要时刻谨记的一个重要原则是用户的需求。近几年来,从Hadoop用户那里总结出MapRe... 阅读全文
posted @ 2015-03-20 16:28 吉日木图 阅读(162) 评论(0) 推荐(0) 编辑
摘要: YARN/MRv2是下一代MapReduce框架(见Hadoop-0.23.0),该框架完全不同于当前的MapReduce框架,它在扩展性,容错性和通用性等方面更出色,据统计,Yarn有超过150000行代码,完全是重写编写的。本文介绍了YARN/MRv2中基本术语的含义,帮助有兴趣的程序员们对YA... 阅读全文
posted @ 2015-03-20 16:22 吉日木图 阅读(229) 评论(0) 推荐(0) 编辑