打赏

Storm概念学习系列之Task任务

 

  不多说,直接上干货!

 

  每一个Spout/Bolt的线程称为一个Task。

 

 

Task任务

  Task是运行Spout或Bolt的单元,每一个Spout/Bolt的线程称为一个Task。
  在Storm 0.8及之后的版本中,Task不再与物理线程对应,同一个Spout/Bolt的Task可能会共享一个物理线程,该线程称为Executor。
  实际的数据处理由Task完成,在Topology的生命周期中,每个组件的Task数量不会变化,而Executor的数量却不一定。在一般情况下,线程数小于等于Task数量。默认Task的数量等于Executor线程数量,即一个Executor线程只运行一个Task。Executor线程在执行期间会调用该Task的nextTuple或execute方法。
  每个Spout或Bolt都是通过集群中的许多任务来执行的。每个任务相当于一个执行线程,可以通过TopologyBuilder的setSpout方法和setBolt方法为每个Spout或Bolt设置并行数,即任务数

      

posted @ 2016-10-23 11:51  大数据和AI躺过的坑  阅读(552)  评论(0编辑  收藏  举报