2017年12月4日
Storm 使用手册
摘要： 一、Storm相关术语： Nimbus： Storm集群主节点，负责资源的分配和任务的调度 Supervisor：Storm集群工作节点，接受Nimbus分配的任务，管理Worker Worker：Supervisor下的工作进程，具体任务执行 Task：Worker下的工作线程 Topology： 阅读全文
posted @ 2017-12-04 11:48 程序猿001 阅读(616) 评论(0) 推荐(0) 编辑
Storm中重要对象的生命周期
摘要： Spout方法调用顺势 declareOutputFields()(调用一次) open() (调用一次) activate() (调用一次) nextTuple() （循环调用 ） deactivate() (手动调用) Bolt方法调用顺序 declareOutputFields() (调用一次 阅读全文
posted @ 2017-12-04 09:44 程序猿001 阅读(389) 评论(0) 推荐(0) 编辑
Storm 消息分发策略
摘要： 1、Shuffle Grouping：随机分组，随机派发stream里面的tuple，保证每个bolt接收到的tuple数目相同。2、Fields Grouping：按字段分组，比如按userid来分组，具有同样userid的tuple会被分到相同的Bolts，而不同的userid则会被分配到不同的 阅读全文
posted @ 2017-12-04 09:41 程序猿001 阅读(519) 评论(0) 推荐(0) 编辑
Storm常用的类
摘要： BaseRichSpout (消息生产者)BaseBasicBolt (消息处理者)TopologyBuilder (拓扑的构建器)Values (将数据存放到values ，发送到下个组件)Tuple(发送的数据被封装到Tuple，可以通tuple接收上个组件发送的消息)Config (配置)St 阅读全文
posted @ 2017-12-04 09:37 程序猿001 阅读(159) 评论(0) 推荐(0) 编辑