摘要: 来源:http://www.open-open.com/lib/view/open1328286398374.htmlStorm是Twitter开源的一个类似于Hadoop的实时数据处理框架(原来是由BackType开发,后BackType被Twitter收购,将Storm作为Twitter的实时数据分析)。实时数据处理的应用场景很广泛,如上篇文章介绍S4时所说的个性化搜索广告的会话特征分析。而Yahoo当初创建S4项目的直接业务需求就是为了在搜索引擎的‘cost-per-click’广告中,能根据当前情景上下文(用户偏好,地理位置,已发生的查询和点击等)来估计用户点击的可能性并实时做出调整。 阅读全文
posted @ 2013-05-27 15:46 hasayaki 阅读(293) 评论(0) 推荐(0) 编辑
摘要: 来源:http://www.infoq.com/cn/news/2011/09/twitter-storm-real-time-hadoopTwitter将Storm正式开源了,这是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。GitHub上的最新版本是Storm 0.5.2,基本是用Clojure写的。Storm为分布式实时计算提供了一组通用原语,可被用于“流处理”之中,实时处理消息并更新数据库。这是管理队列及工作者集群的另一种 阅读全文
posted @ 2013-05-27 15:45 hasayaki 阅读(224) 评论(0) 推荐(0) 编辑