摘要: 原文见 http://xiguada.org/hadoop-2-x-compile/ 这些问题是2013年初整理的,不过到目前为止,即使最新的hadoop2.0系列,编译总体上变化不大,因此还能适用。 执行命令: mvn package -Pdist,native -DskipTests -Dtar 阅读全文
posted @ 2014-02-23 20:43 南国故人(Wall) 阅读(4587) 评论(0) 推荐(0) 编辑
摘要: 原文链接 http://xiguada.org/yarn_some_question/ ‎ 1. NodeManager是如何Kill掉Container的呢? 答,在DefaultContainerExecutor中, a. 使用命令行kill一个app后,ContainerLaunch中的han 阅读全文
posted @ 2014-02-23 20:33 南国故人(Wall) 阅读(5946) 评论(0) 推荐(0) 编辑
摘要: 原文 http://xiguada.org/yarn_state_picture/ 在Hadoop2.0系列的版本里,采用了状态机的方式处理ResourceManager,NodeManager,MapReduce中状态的变迁。那如何生成相应的状态机图呢?其实社区已经为我们提供了生成状态机图的方法, 阅读全文
posted @ 2014-02-23 20:26 南国故人(Wall) 阅读(495) 评论(0) 推荐(0) 编辑
摘要: RM状态存储与还原机制详解转载请注明原始链接http://www.cnblogs.com/shenh062326/p/3562199.html。摘要 本文基于Apache Hadoop社区最新release版本2.3.0编写,社区从2.3.0开始支持ResourceManager的HA,已经实现的功能包括RM状态信息的存储与还原,客户端(clientToRM, AMToRM, NMToRM)实现RPC重试机制,增加Active与Standby RM角色,支持手动切换Active与Standby RM,还不支持RM的热备(自动主备切换),不支持RM切换后正在运行运行的Container不被Ki. 阅读全文
posted @ 2014-02-23 17:53 南国故人(Wall) 阅读(2815) 评论(4) 推荐(0) 编辑