Storm概念学习系列之storm核心组件

 

　　不多说，直接上干货！

 

 

 

　　Storm核心组件

　　了解 Storm 的核心组件对于理解 Storm 原理非常重要，下面介绍 Storm 的整体，然后介绍 Storm 的核心。 Storm 集群由一个主节点和多个工作节点组成。主节点运行一个名为“Nimbus”的守护进程，工作节点都运行一个名为“Supervisor”的守护进程，两者的协调工作由 ZooKeeper 来完成， ZooKeeper 用于管理集群中的不同组件。
　　每一个工作节点上运行的 Supervisor 监听分配给它那台机器的工作，根据需要启动 / 关闭工作进程，每一个工作进程执行一个 Topology 的一个子集；一个运行的 Topology 由运行在很多机器上的很多工作进程 Worker 组成。那么 Storm 的核心就是主节点（Nimbus）、工作节点（Supervisor）、协调器（ZooKeeper）、工作进程（ Worker）、任务线程（Task）。

 

 

 

1、主节点 Nimbus
　　主节点通常运行一个后台程序——Nimbus，用于响应分布在集群中的节点，分配任务和监测故障，这类似于 Hadoop 中的 JobTracker。
　　Nimbus 进程是快速失败（ fail-fast）和无状态的，所有的状态要么在 ZooKeeper 中，要么在本地磁盘上。可以使用 kill -9 来杀死 Nimbus 进程，然后重启即可继续工作。

 

 

2、工作节点 Supervisor
　　工作节点同样会运行一个后台程序——Supervisor，用于收听工作指派并基于要求运行工作进程。每个工作节点都是Topology中一个子集的实现。而Nimbus 和 Supervisor 之间的协调则通过 ZooKeeper 系统。
　　同 样，Supervisor进程也是快速失败（fail-fast）和无状态的， 所有的状态要么在ZooKeeper中，要么在本地磁盘上，用kill -9来杀死Supervisor进程，然后重启就可以继续工作。

 

 

 

3、协调服务组件 ZooKeeper
　　ZooKeeper 是完成 Nimbus 和 Supervisor 之间协调的服务。 Storm使用ZooKeeper 协调集群，由于ZooKeeper 并不用于消息传递，所以Storm给ZooKeeper 带来的压力相当低。在大多数情况下，单个节点的 ZooKeeper 集群足够胜任，不过为了确保故障恢复或者部署大规模Storm集群，可能需要更大规模的 ZooKeeper 集群。 Nimbus、 Supervisor 与 ZooKeeper 的关系如图 1 所示。
　　　　　　　　　　　　

　　　　　　　　　　　　　　　图 1    Nimbus、 Supervisor 与 ZooKeeper 关系图

 

 

 

4、其他核心组件
　　Storm 的组件不止上面的，还有一些组件也是 Storm 的核心，缺一不可。下面简单介绍Worker 和 Task。
　　1）具体处理事务进程 Worker：运行具体处理组件逻辑的进程。
　　2）具体处理线程 Task ： Worker 中的每一个 Spout/Bolt 线程称为一个 Task。在 Storm 0.8之后， Task 不再与物理线程对应，同一个 Spout/Bolt 的 Task 可能会共享一个物理线程，该线程称为 Executor。