2012 年 6月随笔档案 - 大圆那些事

06 2012 档案

Storm常见模式——TimeCacheMap

摘要：Storm中使用一种叫做TimeCacheMap的数据结构，用于在内存中保存近期活跃的对象，它的实现非常地高效，而且可以自动删除过期不再活跃的对象。TimeCacheMap使用多个桶buckets来缩小锁的粒度，以此换取高并发读写性能。阅读全文

posted @ 2012-06-26 12:32 大圆那些事阅读(8764) 评论(2) 推荐(3) 编辑

Storm常见模式——BasicBolt

摘要：这里介绍Storm的一个常见模式——BasicBolt，用于实现简单函数处理过程或过滤器功能，Storm中专门为这种模式封装了相应接口：IBasicBolt。BaseBasicBolt等类实现了这一接口。阅读全文

posted @ 2012-06-19 19:56 大圆那些事阅读(6502) 评论(2) 推荐(1) 编辑

Storm常见模式——批处理

摘要：Storm对流数据进行实时处理时，一种常见场景是批量一起处理一定数量的tuple元组，而不是每接收一个tuple就立刻处理一个tuple，这样可能是性能的考虑，或者是具体业务的需要。下面是针对这种场景的一个示例代码。阅读全文

posted @ 2012-06-19 18:30 大圆那些事阅读(12837) 评论(5) 推荐(0) 编辑

Storm常见模式——求TOP N

摘要：Storm的另一种常见模式是对流式数据进行所谓“streaming top N”的计算，它的特点是持续的在内存中按照某个统计指标（如出现次数）计算TOP N，然后每隔一定时间间隔输出实时计算后的TOP N结果。这里通过对storm-starter中的示例代码剖析来介绍一种Storm中可扩展的求TOP N的方法。阅读全文

posted @ 2012-06-16 15:08 大圆那些事阅读(10240) 评论(5) 推荐(0) 编辑

Storm常见模式——流聚合

摘要：流聚合（stream join）是指将具有共同元组（tuple）字段的数据流（两个或者多个）聚合形成一个新的数据流的过程。这里通过对storm-starter（代码见：https://github.com/nathanmarz/storm-starter）中的示例代码剖析来说明Storm中是如何进行流的聚合操作的。阅读全文

posted @ 2012-06-04 19:26 大圆那些事阅读(22467) 评论(2) 推荐(2) 编辑