摘要: Google文件系统GFSGoogle文件系统(Google File System,GFS)是一个大型的分布式文件系统。它为Google云计算提供海量存储,并且与Chubby、MapReduce以及Bigtable等技术结合十分紧密,处于所有核心技术的底层。由于GFS并不是一个开源的系统,我们仅仅... 阅读全文
posted @ 2015-08-17 21:28 taxue505 阅读(637) 评论(0) 推荐(0) 编辑
摘要: 解密谷歌的大数据技术 毫不夸张的说,google就是大数据时代的开拓者,google的大数据技术架构一直都是全球互联网企业争相学习和研究的重点,也为行业大数据技术的架构树立起了标杆。 下面就为大家解密google大数据技术架构: 一、谷歌的数据中心 谷歌目前建设了世界上最快最大的数据中心,这八... 阅读全文
posted @ 2015-08-17 21:21 taxue505 阅读(1571) 评论(0) 推荐(0) 编辑
摘要: [说明:本文是阅读Google论文“Dapper, a Large-Scale Distributed Systems Tracing Infrastructure”之后的一个简要总结,完整译文可参考此处。另论文“Uncertainty in Aggregate Estimates from Sam... 阅读全文
posted @ 2015-08-17 21:14 taxue505 阅读(1892) 评论(0) 推荐(0) 编辑
摘要: Google Dremel 原理简介Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群,处理PB级别的数据。MapReduce处理一个数据,需要分钟级的时间。作为MapReduce的发起人,Google开发了Dremel将处理时间缩短到秒级,作为MapReduce的有力... 阅读全文
posted @ 2015-08-17 21:09 taxue505 阅读(3295) 评论(0) 推荐(0) 编辑