Hadoop:The Definitive Guid 总结 Chapter 3 Hadoop分布式文件系统
摘要:
1.HDFS的设计HDFS设计的适合对象:超大文件(TB级别的文件)、流式数据访问(一次写入,多次读取)、商用硬件(廉价硬件)HDFS设计不适合的对象:低时间延迟的数据访问、大量的小文件、多用户写入,任意修改文件2.HDFS的概念1).数据块(Block)HDFS中Block的大小默认是64M,小于块大小的的文件并不占据整个块的全部空间(而是将文件大小作为块的大小.比如要存放的文件是1k,但是系统的Block默认是64MB,存放之后块的大小是1k,不是64MB.文件若是大于64MB,则分多快进行存储.)使用Blocks的好处:可以存储大文件,一个文件的大小可以大于网络中任意一个单块硬盘的容量把 阅读全文
posted @ 2012-08-09 16:24 as_ 阅读(1309) 评论(1) 推荐(0) 编辑