摘要:
worker启动executor源码分析-executor.clj 阅读全文
摘要:
supervisor启动worker源码分析-worker.clj 阅读全文
摘要:
storm源码分析之任务分配--task assignment 阅读全文
摘要:
storm源码分析之topology提交过程 阅读全文
摘要:
supervisor是storm集群重要组成部分,supervisor主要负责管理各个"工作节点"。supervisor与zookeeper进行通信,通过zookeeper的"watch机制"可以感知到是否有新的任务需要认领或哪些任务被重新分配。我们可以通用执行bin/storm superviso... 阅读全文
摘要:
nimbus是storm集群的"控制器",是storm集群的重要组成部分。我们可以通用执行bin/storm nimbus >/dev/null 2>&1 &来启动nimbus。bin/storm是一个python脚本,在这个脚本中定义了一个nimbus函数:nimbus函数def nimbus(k... 阅读全文
摘要:
当我们在shell里执行storm shell命令时会调用shell_submission.clj里的main函数。shell_submission.clj如下:shell_submission.clj;; ns函数声明一个命名空间“backtype.storm.command.shell-subm... 阅读全文
摘要:
storm定时器与java.util.Timer定时器比较相似。java.util.Timer定时器实际上是个线程,定时调度所拥有的TimerTasks;storm定时器也有一个线程负责调度所拥有的"定时任务"。storm定时器的"定时任务"是一个vector类型的数据[time, callback... 阅读全文
摘要:
storm操作zookeeper的主要函数都定义在命名空间backtype.storm.cluster中(即cluster.clj文件中)。 backtype.storm.cluster定义了两个重要protocol:ClusterState和StormClusterState。clojure中的p... 阅读全文
摘要:
storm操作zookeeper的主要函数都定义在命名空间backtype.storm.cluster中(即cluster.clj文件中)。backtype.storm.cluster定义了两个重要protocol:ClusterState和StormClusterState。clojure中的pr... 阅读全文