2014年7月8日

HDFS Protocol修改流程

摘要： 相对于1.x版本的Hadoop，2.x版本的Hadoop采用了Protocol Buffer作为序列化反序列化工具，以及RPC通讯工具。这样当我们对Hadoop源码进行修改之前，就需要了解Hadoop 2.x的代码结构和修改方法。 几个结构，以DatanodeProtocol举列子： DatanodeProtocol.java 还像1.x一样只是一个接口，NameNode继承这... 阅读全文

posted @ 2014-07-08 09:58 萌@宇 阅读(366) 评论(0) 推荐(0) 编辑

NameNode HA滚动升级方案

摘要： Hadoop 滚动升级非常方便，只需要在配置中增加一些选项就可以通过Hadoop自身的代码进行完成。步骤：1、首先到需要升级的NameService的Active NameNode上面，比如我们10.39.2.131是ns1的Active NameNode。2、新增加的配置：dfs.ha.fencing.methodsshell(/bin/true)3、在ActiveNameNode上面使用命... 阅读全文

posted @ 2014-07-08 09:57 萌@宇 阅读(555) 评论(0) 推荐(0) 编辑

导航