上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 56 下一页
摘要: 1、Storm并行度相关的概念 Storm集群有很多节点,按照类型分为nimbus(主节点)、supervisor(从节点),在conf/storm.yaml中配置了一个supervisor,有多个槽(supervisor.slots.ports),每个槽就是一个JVM,就是一个worker(一个节 阅读全文
posted @ 2016-03-08 15:52 唐僧吃肉 阅读(6488) 评论(0) 推荐(0) 编辑
摘要: 本文详细介绍了 Storm 集群的安装配置方法。如果需要在 AWS 上安装 Storm,你应该看一下 storm-deploy 项目。storm-deploy 可以自动完成 E2 上 Storm 集群的准备、配置、安装的全部过程,同时还设置好了 Ganglia,方便监控 CPU、磁盘以及网络的使用信 阅读全文
posted @ 2016-03-08 15:10 唐僧吃肉 阅读(284) 评论(0) 推荐(0) 编辑
摘要: 说明:本文翻译自Storm在GitHub上的官方Wiki中提供的Storm代码结构描述一节Structure of the codebase,希望对正在基于Storm进行源码级学习和研究的朋友有所帮助。 原文出处:http://www.cnblogs.com/yufengof/p/storm-cod 阅读全文
posted @ 2016-03-08 14:00 唐僧吃肉 阅读(382) 评论(0) 推荐(0) 编辑
摘要: Storm在集群上运行一个Topology时,主要通过以下3个实体来完成Topology的执行工作:1. Worker(进程)2. Executor(线程)3. Task下图简要描述了这3者之间的关系: 注:supervisor.slots.ports:对于每个工作节点配置该节点可以运行多少个wor 阅读全文
posted @ 2016-03-08 13:57 唐僧吃肉 阅读(3864) 评论(0) 推荐(0) 编辑
摘要: nimbus-datastorm-core/backtype/storm/nimbus.clj (defn nimbus-data [conf inimbus] (let [forced-scheduler (.getForcedScheduler inimbus)] {:conf conf :in 阅读全文
posted @ 2016-03-08 00:00 唐僧吃肉 阅读(490) 评论(0) 推荐(0) 编辑
摘要: 配置 Storm 有大量配置项用于调整 nimbus、supervisors 和拓扑的行为。有些配置项是系统级的配置项,在拓扑中不能修改,另外一些配置项则是可以在拓扑中修改的。 每一个配置项都在 Storm 代码库的 defaults.yaml 中有一个默认值。可以通过在 Nimbus 和 Supe 阅读全文
posted @ 2016-03-07 23:56 唐僧吃肉 阅读(342) 评论(0) 推荐(0) 编辑
摘要: Nimbus server, 首先从启动命令开始, 同样是使用storm命令"storm nimbus”来启动看下源码, 此处和上面client不同, jvmtype="-server", 最终调用"backtype.storm.daemon.nimbus"的mainnimbus是用clojure实 阅读全文
posted @ 2016-03-07 23:50 唐僧吃肉 阅读(677) 评论(0) 推荐(0) 编辑
摘要: nimbus是storm集群的"控制器",是storm集群的重要组成部分。我们可以通用执行bin/storm nimbus >/dev/null 2>&1 &来启动nimbus。bin/storm是一个python脚本,在这个脚本中定义了一个nimbus函数: nimbus函数 def nimbus 阅读全文
posted @ 2016-03-07 17:05 唐僧吃肉 阅读(717) 评论(0) 推荐(0) 编辑
摘要: 启动流程图 mk-assignments 功能:对当前集群中所有Topology进行新一轮的任务调度。 实现源码路径: \apache-storm-0.9.4\storm-core\src\clj\backtype\storm\daemon\ nimbus.clj 方法原型: 1 defnk mk- 阅读全文
posted @ 2016-03-07 16:51 唐僧吃肉 阅读(1046) 评论(0) 推荐(0) 编辑
摘要: storm集群里面工作机器分为两种一种是nimbus, 一种是supervisor, 他们通过zookeeper来进行交互,nimbus通过zookeeper来发布一些指令,supervisor去读zookeeper来执行这些指令! 具体nimbus和supervisor在zookeeper上交换了 阅读全文
posted @ 2016-03-07 16:45 唐僧吃肉 阅读(514) 评论(0) 推荐(0) 编辑
上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 56 下一页