随笔分类 -  storm

Storm里面fieldsGrouping和Field的概念详解
摘要：这个Field通常和fieldsGrouping分组机制一起使用，这个Field特别难理解，我自己也是在网上看了好多文章，感觉依旧讲的不是很清楚，是似而非，没有抓到重点。这个问题足足困扰了我3-4天时间，一直理解不了Field的概念， 当前我觉得new Fields("word")就相当于表的表头， 阅读全文
posted @ 2018-11-27 11:39 奋小斗g 阅读(2462) 评论(0) 推荐(0) 编辑
storm中的topology-worker-executor-task
摘要：调度角色 调度方法 自定义调度 1 调度角色 任务角色结构 上图是JStorm中一个topology对应的任务执行结构，其中worker是进程，executor对应于线程，task对应着spout或者bolt组件。 1.1 Worker Worker是task的容器， 同一个worker只会执行同一 阅读全文
posted @ 2018-11-01 15:06 奋小斗g 阅读(545) 评论(0) 推荐(0) 编辑
JSTORM中IRichBolt与IBasicBolt的区别
摘要： 阅读全文
posted @ 2018-06-29 17:46 奋小斗g 阅读(129) 评论(0) 推荐(0) 编辑
storm trident的filter和函数
摘要：目的：通过kafka输出的信息进行过滤，添加指定的字段后，进行打印 SentenceSpout: FunctionBolt: MyFilter: PrintFilter: TopologyTrident: package Trident;import java.util.HashMap;import 阅读全文
posted @ 2017-05-27 15:24 奋小斗g 阅读(737) 评论(0) 推荐(0) 编辑
kafka-->storm-->mongodb
摘要：目的： 通过Spout发射kafka的数据，到bolt统计每一个单词的个数，将这些记录更新到mongodb中。 Spout的nextTuple方法会一直处于一个while循环这中，每一条数据发送给bolt后，bolt都会调用一次execute方法。 spout用于发射数据，bolt用于对数据进行处理 阅读全文
posted @ 2017-05-23 14:37 奋小斗g 阅读(943) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示