摘要: HDFS 1 HDFS是什么? 首先,它是一个文件系统,用于存储文件,通过统一的命名空间——目录树来定位文件 其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色; HDFS是分布式文件系统(多个datanode更亲切点吧) 2 设计思想以及特性 设计思想:分而治之:将大文 阅读全文
posted @ 2017-07-20 18:49 Smileing 阅读(322) 评论(0) 推荐(0) 编辑
摘要: HADOOP背景介绍 1.1 Hadoop产生背景 HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 2003年、2004年谷歌发表的两篇论文 阅读全文
posted @ 2017-07-20 14:42 Smileing 阅读(1501) 评论(0) 推荐(0) 编辑