2013年3月18日

hadoop学习笔记(一)hadoop分布式文件系统

摘要: 超大文件;流式数据访问,一次写入多次读取;商用硬件,庞大的集群遇到少部分节点故障时,任然更够继续运行,且用户察觉不到中断;不适合低时间延迟的数据访问,对于低时间延迟的需求,可以考虑hbase;大量小文件的元数据会占用namenode过多的内存资源;hdfs只能有一个writer,写操作总是将数据添加至文件末尾。不支持多个写入者操作,也不支持文件在任意位置修改。HDFS的概念数据块磁盘系统有块的概念,指磁盘进行数据读写的最小单位,一般为512字节;HDFS中的块默认为64M,一个大的文件被划分为多个分块,作为独立的存储单元。注意,HDFS中小于一个块大小的文件不会占据整个块的空间,存储小文件会增 阅读全文

posted @ 2013-03-18 14:44 _Deron_ 阅读(746) 评论(0) 推荐(0) 编辑

导航