摘要:
Google文件系统GFSGoogle文件系统(Google File System,GFS)是一个大型的分布式文件系统。它为Google云计算提供海量存储,并且与Chubby、MapReduce以及Bigtable等技术结合十分紧密,处于所有核心技术的底层。由于GFS并不是一个开源的系统,我们仅仅... 阅读全文
摘要:
解密谷歌的大数据技术 毫不夸张的说,google就是大数据时代的开拓者,google的大数据技术架构一直都是全球互联网企业争相学习和研究的重点,也为行业大数据技术的架构树立起了标杆。 下面就为大家解密google大数据技术架构: 一、谷歌的数据中心 谷歌目前建设了世界上最快最大的数据中心,这八... 阅读全文
摘要:
[说明:本文是阅读Google论文“Dapper, a Large-Scale Distributed Systems Tracing Infrastructure”之后的一个简要总结,完整译文可参考此处。另论文“Uncertainty in Aggregate Estimates from Sam... 阅读全文
摘要:
Google Dremel 原理简介Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群,处理PB级别的数据。MapReduce处理一个数据,需要分钟级的时间。作为MapReduce的发起人,Google开发了Dremel将处理时间缩短到秒级,作为MapReduce的有力... 阅读全文