摘要: 组成:一个运行中的拓扑是由什么构成的:工作进程(worker processes),执行器(executors)和任务(tasks)! 在一个 Storm 集群中,Storm 主要通过以下三个部件来运行拓扑: 工作进程(worker processes) 执行器(executors) 任务(task 阅读全文
posted @ 2016-03-08 17:15 唐僧吃肉 阅读(1184) 评论(0) 推荐(0) 编辑
摘要: 1、Storm并行度相关的概念 Storm集群有很多节点,按照类型分为nimbus(主节点)、supervisor(从节点),在conf/storm.yaml中配置了一个supervisor,有多个槽(supervisor.slots.ports),每个槽就是一个JVM,就是一个worker(一个节 阅读全文
posted @ 2016-03-08 15:52 唐僧吃肉 阅读(6488) 评论(0) 推荐(0) 编辑
摘要: 本文详细介绍了 Storm 集群的安装配置方法。如果需要在 AWS 上安装 Storm,你应该看一下 storm-deploy 项目。storm-deploy 可以自动完成 E2 上 Storm 集群的准备、配置、安装的全部过程,同时还设置好了 Ganglia,方便监控 CPU、磁盘以及网络的使用信 阅读全文
posted @ 2016-03-08 15:10 唐僧吃肉 阅读(284) 评论(0) 推荐(0) 编辑
摘要: 说明:本文翻译自Storm在GitHub上的官方Wiki中提供的Storm代码结构描述一节Structure of the codebase,希望对正在基于Storm进行源码级学习和研究的朋友有所帮助。 原文出处:http://www.cnblogs.com/yufengof/p/storm-cod 阅读全文
posted @ 2016-03-08 14:00 唐僧吃肉 阅读(382) 评论(0) 推荐(0) 编辑
摘要: Storm在集群上运行一个Topology时,主要通过以下3个实体来完成Topology的执行工作:1. Worker(进程)2. Executor(线程)3. Task下图简要描述了这3者之间的关系: 注:supervisor.slots.ports:对于每个工作节点配置该节点可以运行多少个wor 阅读全文
posted @ 2016-03-08 13:57 唐僧吃肉 阅读(3865) 评论(0) 推荐(0) 编辑
摘要: nimbus-datastorm-core/backtype/storm/nimbus.clj (defn nimbus-data [conf inimbus] (let [forced-scheduler (.getForcedScheduler inimbus)] {:conf conf :in 阅读全文
posted @ 2016-03-08 00:00 唐僧吃肉 阅读(490) 评论(0) 推荐(0) 编辑