2013年8月18日
Hadoop分布式文件系统（一）
摘要： 分布式文件系统 当数据集的大小超过一台独立物理计算机的存储能力时，就有必要对它进行分区（partition）并存储到若干台单独的计算机上。管理网络中跨多台计算机存储的文件系 统成为分布式文件系统。 HDFS的设计 HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上。 超大文件 “超大文件”在这里指具有几百MB、几百GB甚至几百TB大小的文件。目前已经有存储PB级数据的Hadoop集群了... 阅读全文
posted @ 2013-08-18 00:22 潜伏的蛟龙 阅读(380) 评论(0) 推荐(0) 编辑