摘要: 在使用Storm的trident做流计算开发时,遇到一个诡异的问题:我继承IPartitionedTridentSpout或者IOpaquePartitionedTridentSpout接口做事务型实时计算的开发,类型T通常是用来每个批次序列化到ZK中的偏移量。我遇到的问题是:只要实时应用启动后不终... 阅读全文
posted @ 2015-12-09 13:53 王金松 阅读(190) 评论(0) 推荐(0) 编辑
摘要: Storm的典型用例有哪些呢?流处理:正如前面的例子中所展示的,和其他流处理系统不同的是,使用Storm不需要中间队列。连续计算:向客户端持续发送数据,以便它们能实时更新、显示结果,例如网站统计。分布式远程过程调用:可简单地并行运行CPU密集型操作。在Storm集群中有两种节点:主节点(master... 阅读全文
posted @ 2015-12-09 11:02 王金松 阅读(133) 评论(0) 推荐(0) 编辑
摘要: http://www.iteblog.com/archives/category/flumehttp://lxw1234.com/archives/category/kafka 阅读全文
posted @ 2015-12-08 10:12 王金松 阅读(96) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/xiao_jun_0820/article/details/38333171a1.sinkgroups.g1.processor.selectorhttp://blog.csdn.net/lskyne/article/details/37662835http... 阅读全文
posted @ 2015-12-06 10:11 王金松 阅读(130) 评论(0) 推荐(0) 编辑
摘要: int[] aa = {1,3,63,54,2,67};把以上数组的值随机打乱public class Test{ public static void main(String[] args){ int len = aa.length; int temp = 0; for(int i=0;i<l... 阅读全文
posted @ 2015-12-04 18:50 王金松 阅读(188) 评论(0) 推荐(0) 编辑
摘要: 这篇文章主要在上一篇文章的基础上讲一下 如何自定义flume到kafka的分区上一节中从下面的地址下载了一个源码https://github.com/beyondj2ee/flumeng-kafka-plugin/tree/master/我们只是从中获取了jar包。这次我们就利用下载的源码去自定义分... 阅读全文
posted @ 2015-12-04 18:29 王金松 阅读(296) 评论(0) 推荐(0) 编辑
摘要: 这篇文章主要是log4j+flume+kafka的内容首先从从下面的地址下载flume+kafka的插件包https://github.com/beyondj2ee/flumeng-kafka-plugin/tree/master/把libs和package下的jar包拷到kafka的lib文件夹下... 阅读全文
posted @ 2015-12-04 15:48 王金松 阅读(737) 评论(0) 推荐(0) 编辑