storm单机运行与集群运行问题

使用trident接口时,storm读取kafka数据会将kafka消费记录保存起来,将消费记录的位置保存在tridentTopology.newStream()的第一个参数里,

如果设置成从头开始消费,在单机情况下,消费记录没能保存下来,每次都是从头消费,但是在集群模式下,消费记录是被保存在zookeeper中的,再次提交集群运行并不会从头开始消费,而是从zookeeper中记录的位置开始消费,要想从新开始消费,

可以通过改变tridentTopology.newStream()的第一个参数来得到,如果集群报出消费记录越界,极有可能就是tridentTopology.newStream()的第一个参数有问题,消费错了记录位置。


posted on 2017-09-14 09:42  层林尽染  阅读(166)  评论(0编辑  收藏  举报

导航