摘要: 根据国外媒体报道,Twitter计划开源Hadoop-happy架构的一个附加部分,Twitter用来作为内部数据分析。作为知名的Crane,这个是用来将MySQL转化到Hadoop的工具。这一开源数据分析平台建立在Google的私有设施上。Twitter使用Hadoop来进行数据分析,同时该平台也被使用在站点上,包括Twitter的名称搜索功能。Twitter的大部分表格数据存储在MySQL中,只有一小部分存储在Cassandra。Twitter的技术负责人表示要做的就是在一些地方结束MySQL表格存储。因此Crane被开发出来,用于将数据从MySQL到HDFS或者Hadoop的HBase上 阅读全文
posted @ 2012-11-29 22:59 蜗牛123 阅读(163) 评论(0) 推荐(0) 编辑
摘要: We love the idea that we could be much more intelligent or creative if we harnessed unused parts of our minds. Sadly, Claudia Hammond has some bad news.It’s amazing just how many medical myths there are to choose from, but one part of the body seems to attract more than its fair share, and that’s th 阅读全文
posted @ 2012-11-29 22:42 蜗牛123 阅读(212) 评论(0) 推荐(0) 编辑
摘要: 1、1TB(或1分钟)排序的冠军 作为分布式数据处理的框架,集群的数据处理能力究竟有多快?或许1TB排序可以作为衡量的标准之一。 1TB排序,就是对1TB(1024GB,大约100亿行数据)的数据进行排序。2008年,Hadoop赢得1TB排序基准评估第一名,排序1TB数据耗时209秒。后来,1TB排序被1分钟排序所取代,1分钟排序指的是在一分钟内尽可能多的排序。2009年,在一个1406个节点组成的hadoop集群,在59秒里对500GB完成了排序;而在1460个节点的集群,排序1TB数据只花了62秒。 这么惊人的数据处理能力,是不是让你印象深刻呢?呵呵 下面我们来看看排序的过程吧。 2、排 阅读全文
posted @ 2012-11-29 21:49 蜗牛123 阅读(795) 评论(1) 推荐(0) 编辑
摘要: Dubbo是阿里巴巴内部的SOA服务化治理方案的核心框架,每天为2000+ 个服务提供3,000,000,000+ 次访问量支持,并被广泛应用于阿里巴巴集团的各成员站点。Dubbo自2011年开源后,已被许多非阿里系公司使用。 项目主页:http://code.alibabatech.com/wiki/display/dubbo/Home-zh 为了使大家对该框架有一个深入的了解,本期我们采访了Dubbo团队主要开发人员之一梁飞。 ITeye期待并致力于为国内优秀的开源项目提供一个免费的推广平台,如果你和你的团队希望将自己的开源项目介绍给更多的开发者,或者你希望我们对哪些开源项目进行专访,请告 阅读全文
posted @ 2012-11-29 21:41 蜗牛123 阅读(453) 评论(0) 推荐(1) 编辑