storm
- hadoop跑的是MapReduce job 而对于storm集群跑的是拓扑任务,MapReduce任务可以完成,但一个拓扑任务会一直进行下去,除非你kill它。
- storm也有master和work节点,master叫Nimbus,work节点称之为Supervisor。
- storm的核心抽象时流,流是一个无界的元组序列。storm提供原函数(primitives)操作,可靠的分布式的使一个流转变为一个新的流。
- storm提供的基本原函数主要分为spouts和bolts
- 一个spout是流的源头,可以连接一些API,将它们以流的方式发放出去。
- 一个bolt可以消费任意数量的输入流,做一些操作,或者转变为新的流。