随笔分类 -  Storm

摘要:KafkaSpout的核心逻辑都是由PartitionManager来实现的。但是这个类实现时候需要考虑的东西有些多,0.92至0.93,至当前(2015.3.14)的master一直在变化。在这里,先分析一下最近的发布版0.93里的逻辑。也提出一些问题,希望以后Apache Storm会把这个类实... 阅读全文
posted @ 2015-03-14 21:05 devos 阅读(2491) 评论(0) 推荐(0) 编辑
摘要:基于0.93版本Storm首先,如果自己写KafkaSpout,该怎么办?有哪些地方需要考虑呢1.得实现Storm指定的接口。这样Storm才能够使用它。那么需要实现什么接口?需要提供什么功能给Storm调用呢?2. 需要给spout的每个task指定任务,也就是把Kafka里的消息分配给spout... 阅读全文
posted @ 2015-03-13 19:10 devos 阅读(4686) 评论(0) 推荐(0) 编辑
摘要:public KafkaSpout(SpoutConfig spoutConf) { _spoutConfig = spoutConf;}基于0.93版本的StormSpoutConfig继承自KafkaConfig。由于SpoutConfig和KafkaConfig所有的instan... 阅读全文
posted @ 2015-03-13 17:36 devos 阅读(15912) 评论(6) 推荐(1) 编辑

点击右上角即可分享
微信分享提示