随笔分类 - Storm
摘要:KafkaSpout的核心逻辑都是由PartitionManager来实现的。但是这个类实现时候需要考虑的东西有些多,0.92至0.93,至当前(2015.3.14)的master一直在变化。在这里,先分析一下最近的发布版0.93里的逻辑。也提出一些问题,希望以后Apache Storm会把这个类实...
阅读全文
摘要:基于0.93版本Storm首先,如果自己写KafkaSpout,该怎么办?有哪些地方需要考虑呢1.得实现Storm指定的接口。这样Storm才能够使用它。那么需要实现什么接口?需要提供什么功能给Storm调用呢?2. 需要给spout的每个task指定任务,也就是把Kafka里的消息分配给spout...
阅读全文
摘要:public KafkaSpout(SpoutConfig spoutConf) { _spoutConfig = spoutConf;}基于0.93版本的StormSpoutConfig继承自KafkaConfig。由于SpoutConfig和KafkaConfig所有的instan...
阅读全文