摘要: 磁盘也是由数据块组成的,一般默认大小是512字节,构建磁盘之上的文件系统一般是磁盘块的整数倍。 HDFS也是采用块管理的,但是比较大,在Hadoop1.x中默认大小是64M,Hadoop2.x中大小默认为128M,那为什么HDFS块这么大呢,又为什么Hadoop2.x中数据块更大了呢? 权威指南中说 阅读全文
posted @ 2017-03-27 17:29 hadoop_dev 阅读(2584) 评论(1) 推荐(0) 编辑
摘要: 原文地址: http://blog.csdn.net/opennaive/article/details/7532589 2006年的OSDI有两篇google的论文,分别是BigTable和Chubby。Chubby是一个分布式锁服务,基于Paxos算法;BigTable是一个用于管理结构化数据的 阅读全文
posted @ 2017-03-27 16:21 hadoop_dev 阅读(13840) 评论(0) 推荐(1) 编辑
摘要: 原文地址:http://blog.csdn.net/opennaive/article/details/7514146 江湖传说永流传:谷歌技术有"三宝",GFS、MapReduce和大表(BigTable)! 谷歌在03到06年间连续发表了三篇很有影响力的文章,分别是03年SOSP的GFS,04年 阅读全文
posted @ 2017-03-27 16:20 hadoop_dev 阅读(672) 评论(0) 推荐(0) 编辑
摘要: 原文地址:http://blog.csdn.net/opennaive/article/details/7483523 题记:初学分布式文件系统,写篇博客加深点印象。GFS的特点是使用一堆廉价的商用计算机支撑大规模数据处理。 虽然"The Google File System " 是03年发表的老文 阅读全文
posted @ 2017-03-27 16:19 hadoop_dev 阅读(713) 评论(0) 推荐(0) 编辑