摘要: 在Hadoop1.x版本的时候,Namenode存在着单点失效的问题。如果namenode失效了,那么所有的基于HDFS的客户端——包括MapReduce作业均无法读,写或列文件,因为namenode是唯一存储元数据与文件到数据块映射的地方。而从一个失效的namenode中恢复的步骤繁多,系统恢复时 阅读全文
posted @ 2017-08-20 14:53 Easen.Cai 阅读(3965) 评论(0) 推荐(0) 编辑
摘要: 学习完Hadoop权威指南有一段时间了,现在再回顾和总结一下HDFS的知识点。 1、HDFS的设计 HDFS是什么:HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问模式来存储超大文件,运行于商用硬件集群上,是管理网络中跨多台计算机存储 阅读全文
posted @ 2017-08-20 00:48 Easen.Cai 阅读(49830) 评论(1) 推荐(7) 编辑