hadoop hdfs总结 NameNode部分-- 概述
摘要:
以后的代码总结全部基于cloudera CDH3B2源码进行。 NameNode需要处理三部分工作: 1、NameNode需要对内存中的数据进行管理,包括有INode信息,Block信息,其中INode信息是间断性的向磁盘刷,进行固话,而Block信息则是在启动过程中从Datanode的心跳汇报中获得的。在这个过程中,还需要对日志进行处理,包括FSImage和Editlog。 2、与DataNode进行通信。 3、与Client进行通信。 其中2、3是通过底层的IPC框架完成,2、3将会在后面对DataNode和Client进行介绍时详细说明。 hdfs的设计参照了linux ext文件系统. 阅读全文
posted @ 2012-03-11 09:22 萌@宇 阅读(323) 评论(0) 推荐(0) 编辑