摘要:
Google的Jeff Dean和Sanjay Ghemawat近日披露,Google庞大的分布式计算集群现在平均每天都要处理20PB(20000TB)以上的数据,三大核心技术之一的MapReduce每天工作量超过10万个。
在2007年9月,MapReduce的工作量多达221.7万个,平均完成时间395秒,平均每个工作使用394台机器,一个月下来就要动用11081台服务器;当月每天Map输入数据403152TB,Map输出数据34774TB,Reduce输出数据14018TB,最终输出20756TB,也就是将近21PB。
阅读全文
posted @ 2008-01-10 17:42 Hicome 阅读(313) 评论(0) 推荐(0) 编辑