摘要: worker启动executor源码分析-executor.clj 阅读全文
posted @ 2015-10-17 11:39 不懂0604 阅读(1091) 评论(0) 推荐(0) 编辑
摘要: supervisor启动worker源码分析-worker.clj 阅读全文
posted @ 2015-04-03 10:35 不懂0604 阅读(1717) 评论(1) 推荐(0) 编辑
摘要: storm源码分析之任务分配--task assignment 阅读全文
posted @ 2015-04-02 11:43 不懂0604 阅读(2469) 评论(0) 推荐(0) 编辑
摘要: storm源码分析之topology提交过程 阅读全文
posted @ 2015-04-01 16:10 不懂0604 阅读(4092) 评论(0) 推荐(1) 编辑
摘要: supervisor是storm集群重要组成部分,supervisor主要负责管理各个"工作节点"。supervisor与zookeeper进行通信,通过zookeeper的"watch机制"可以感知到是否有新的任务需要认领或哪些任务被重新分配。我们可以通用执行bin/storm superviso... 阅读全文
posted @ 2014-09-24 20:27 不懂0604 阅读(3393) 评论(0) 推荐(1) 编辑
摘要: nimbus是storm集群的"控制器",是storm集群的重要组成部分。我们可以通用执行bin/storm nimbus >/dev/null 2>&1 &来启动nimbus。bin/storm是一个python脚本,在这个脚本中定义了一个nimbus函数:nimbus函数def nimbus(k... 阅读全文
posted @ 2014-09-15 21:24 不懂0604 阅读(2587) 评论(0) 推荐(1) 编辑
摘要: 当我们在shell里执行storm shell命令时会调用shell_submission.clj里的main函数。shell_submission.clj如下:shell_submission.clj;; ns函数声明一个命名空间“backtype.storm.command.shell-subm... 阅读全文
posted @ 2014-09-04 13:05 不懂0604 阅读(1280) 评论(0) 推荐(1) 编辑
摘要: storm定时器与java.util.Timer定时器比较相似。java.util.Timer定时器实际上是个线程,定时调度所拥有的TimerTasks;storm定时器也有一个线程负责调度所拥有的"定时任务"。storm定时器的"定时任务"是一个vector类型的数据[time, callback... 阅读全文
posted @ 2014-09-01 09:09 不懂0604 阅读(1662) 评论(0) 推荐(1) 编辑
摘要: storm操作zookeeper的主要函数都定义在命名空间backtype.storm.cluster中(即cluster.clj文件中)。 backtype.storm.cluster定义了两个重要protocol:ClusterState和StormClusterState。clojure中的p... 阅读全文
posted @ 2014-09-01 08:48 不懂0604 阅读(3336) 评论(4) 推荐(1) 编辑
摘要: storm操作zookeeper的主要函数都定义在命名空间backtype.storm.cluster中(即cluster.clj文件中)。backtype.storm.cluster定义了两个重要protocol:ClusterState和StormClusterState。clojure中的pr... 阅读全文
posted @ 2014-08-31 22:11 不懂0604 阅读(1377) 评论(2) 推荐(0) 编辑