随笔分类 - Storm
摘要：测试最大容量LRU算法, 感觉更像是把使用时间最近的保留 结果为 1 was removed, cause is SIZE maven
阅读全文
摘要：Shuffle grouping: Tuples被随机分配到每一个bolt’s task，以便于每一个bolt’s task获得相同数量的tuples。Fields grouping: Stream被根据属性（fields）进行分组。举例：如果一个Stream根据“user-id”分组，具有相同“u...
阅读全文
摘要：在真实环境中运行时，在log日志下，查看workpid日志发现出现该错误。解决办法: 在conf/storm.yaml添加jzmq安装的路径, 我使用的默认安装在/usr/local/lib下java.library.path: "/usr/local/lib",
阅读全文
摘要：过程,Spout 发送msgid 1-10一级Bolt， msgid1的tuple做为基本组合tuple, 其他8个和一组合, 然后发送给二级Bolt， 同时单个msgid对应的tuple都ack一次，msgid1对象tuple, acker将会跟踪8个二级bolt处理情况.二级Bolt，发送ack...
阅读全文
摘要：看过一些别人写的， 感觉有些东西没太说清楚，个人主要以源代码跟踪，参考个人理解讲述，有错误请指正。1基本名词1.1 Tuple: 消息传递的基本单位。很多文章中介绍都是这么说的， 个人觉得应该更详细一点。在spout发送的时候，函数原型public List emit(List tuple, Obj...
阅读全文
摘要：配置选项名称配置选项作用topology.max.task.parallelism每个Topology运行时最大的executor数目topology.workers每个Topology运行时的worker的默认数目，若在代码中设置，则此选项值被覆盖storm.zookeeper.serverszo...
阅读全文
摘要：本机装了Yarn和Storm后，启动Storm后，发现NodeMange无法启动，找了下没找着在哪修改。只好修改Storm的配置,在配置上添加ui.port: "9999"再启动，问题解决.
阅读全文
摘要：public class TridentState { TridentTopology _topology; Node _node; protected TridentState(TridentTopology topology, Node node) { _...
阅读全文
摘要：FixedBatchSpout 继承自 IBatchSpoutIBatchSpout 方法public interface IBatchSpout extends Serializable { void open(Map conf, TopologyContext context); v...
阅读全文
摘要：package storm.starter;import backtype.storm.Config;import backtype.storm.LocalCluster;import backtype.storm.LocalDRPC;import backtype.storm.StormSubmi...
阅读全文
