storm分布式实时计算一
核心概念
topology拓扑组成
storm分布式计算结构称为topology拓扑，由stream（数据流）、spout（数据流生成者）、bolt（运算）组成。
tuple
storm的核心数据结构是tuple，tuple中包含了一个或者多个键值对的列表。
Stream由无限制的tuple组成的序列。
spout
spout代表数据入口，充当采集器的角色，链接到数据源，将数据转化为一个个tuple，并将tuple作为数据流进行发射。
spout通常不会实现业务逻辑，所以spout可以作为多个topology的入口。
bolt
bolt可以理解为计算程序中的运算或者函数，将一个或者多个数据流作为输入，对数据实施运算后，选择性的输出一个或者多个数据流。
bolt可以订阅多个有spout或者其他bolt发射的数据流，这样可以简历一个数据流转换网络。
bolt作用：
- 过滤tuple
- 链接或者聚合操作
- 计算
- 数据库读写
使用
spout
继承BaseRichSpout抽象类
open：获取collector，collector用于发送数据
nextTuple：实际执行发送数据逻辑，collector.emit(new Values(xxxxxx))
declareOutputFields：定义发送出的字段名称，下游根据字段名称获取数据，例如outputFieldsDeclarer.declare(new Fields("sentence"))
bolt
继承BaseRichBolt
prepare：获取collector，collector用于获取数据（collector.getStringByField("sentence")）、发送数据collector.emit(new Values(xxxx))
execute：实际执行运算逻辑或者继续发送tuple到下游，例如collector.emit(new Values(xxxxxx))
declareOutputFields：定义发送到下游bolt的字段名称，下游根据字段名称获取数据，例如outputFieldsDeclarer.declare(new Fields("word"))
cleanup：storm终止一个bolt时会调用cleanup方法，cleanup不保证一定会调用到，如果集群出现问题可能存在未调用cleanup的情况。
topology编排
TopologyBuilder topologyBuilder = new TopologyBuilder();
topologyBuilder.setSpout("spoutTest", new SentenceSpout(), 1);
topologyBuilder.setBolt("boltTest", new WordBolt()).shuffleGrouping("spoutTest", "sentence");
Config config = new Config();
LocalCluster cluster = new LocalCluster();
cluster.submitTopology("topologyTest", config, topologyBuilder.createTopology());
cluster.killTopology("topologyTest");
cluster.shutdown();
