大数据日知录【第八章:分布式文件系统】怎么存储大文件
GFS:
每一个GFS文件被划分为不同的Chunk,同一个而文件的不同Chunk可能会存储在不同的Chunk服务器上,在每个Chunk服务器上,每一个Chunk会进一步被切分,被切分为Block(文件读取的最小单位)。Chunk是最基本的存储单元,Block是最小的读取单元。
HDFS:
NameNode:
相当于GFS里面的主控服务器 fsimage是内存命名空间元数据的镜像文件,editlog各种元数据操作的write ahead log文件
由Active NameNode和Standby NameNode(vwudwbdyqy)两台服务器组成,以此作为高可用的方案(HA) 故障切换器:FC
Secondary NameNode: 拉取NameNode中的editlog和fsimage,进行合并并传回NameNode,以此减轻NameNode的压力。
DataNode:相当于GFS里面的Chunk服务器。
posted on 2016-10-29 16:11 zhouzhou0615 阅读(202) 评论(0) 编辑 收藏 举报