2016年9月21日
Hadoop组件之-HDFS(HA实现细节)
摘要： NameNode 高可用整体架构概述 在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。 因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNo 阅读全文
posted @ 2016-09-21 12:26 dy9776 阅读(2136) 评论(0) 推荐(0) 编辑
hadoop2.x NameNode 的共享存储实现
摘要： 过去几年中 Hadoop 社区涌现过很多的 NameNode 共享存储方案， 比如 shared NAS+NFS、BookKeeper、BackupNode 和 QJM(Quorum Journal Manager) 等等。 目前社区已经把由 Clouderea 公司实现的基于 QJM 的方案合并到 阅读全文
posted @ 2016-09-21 12:15 dy9776 阅读(2616) 评论(0) 推荐(1) 编辑
Hadoop-2.X HA模式下的FSImage和EditsLog合并过程
摘要： 补充了一下NameNode启动过程中有关FSImage与EditsLog的相关知识。 一、什么是FSImage和EditsLog 我们知道HDFS是一个分布式文件存储系统，文件分布式存储在多个DataNode节点上。一个文件存储在哪些DataNode节点的哪些位置的元数据信息（metadata）由N 阅读全文
posted @ 2016-09-21 11:58 dy9776 阅读(3492) 评论(1) 推荐(2) 编辑