博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2012年4月5日

摘要: Written by chenxiaochen32 ,Hadoop Special Interest Group.HDFS是一种文件系统,存储着Hadoop应用将要处理的数据,类似于普通的Unix和linux文件系统,不同的是他是实现了google的GFS文件系统的思想,是适用于大规模分布式数据处理相关应用的、可扩展的分布式文件系统。它有以下优点:1、在分布式存储中,经常会出现节点失效的情况,HDFS可以持续监视,错误检查,容错处理,自动恢复;2、分布式存储的文件都是非常巨大的,HDFS重新规定了每次I/O的块的大小;3、对于搜索引擎的业务,大部分都只会在文件尾添加新数据,很少修改已有数据。H 阅读全文

posted @ 2012-04-05 15:33 Hadoop-scutmstcSIG 阅读(1931) 评论(0) 推荐(2) 编辑