storm分布式实时计算三

storm集群

storm集群为主从集群结构。

主从结构中因为引入了单独故障的风险。

storm集群由一个主节点（nimbus）和一个或者多个从节点（supervisor）组成。

nimbus

负责管理、协调、监控在集群上运行topology。包括发布、任务指派、事件处理失败时重新指派任务。

记录所有supervisor节点的状态和分配给他们的task。

nimbus会指派task（spout和bolt实例）到每个supervisor并且发送信号执行supervisor生成足够的worker来执行指派的task。

supervisor

supervisor以守护进程方式运行。

supervisor与worker运行在不同的jvm进程中。

nimbus将接收到的topology压缩包下发给supervisor，supervisor接收topology压缩文件。

zookeeper

协调集群的状态信息：nimbus与supervisor节点之间的通信主要是结合zookeeper的状态变更通知和监控通知来处理的。