摘要:
1、Storm并行度相关的概念 Storm集群有很多节点,按照类型分为nimbus(主节点)、supervisor(从节点),在conf/storm.yaml中配置了一个supervisor,有多个槽(supervisor.slots.ports),每个槽就是一个JVM,就是一个worker(一个节 阅读全文
摘要:
本文详细介绍了 Storm 集群的安装配置方法。如果需要在 AWS 上安装 Storm,你应该看一下 storm-deploy 项目。storm-deploy 可以自动完成 E2 上 Storm 集群的准备、配置、安装的全部过程,同时还设置好了 Ganglia,方便监控 CPU、磁盘以及网络的使用信 阅读全文
摘要:
说明:本文翻译自Storm在GitHub上的官方Wiki中提供的Storm代码结构描述一节Structure of the codebase,希望对正在基于Storm进行源码级学习和研究的朋友有所帮助。 原文出处:http://www.cnblogs.com/yufengof/p/storm-cod 阅读全文
摘要:
Storm在集群上运行一个Topology时,主要通过以下3个实体来完成Topology的执行工作:1. Worker(进程)2. Executor(线程)3. Task下图简要描述了这3者之间的关系: 注:supervisor.slots.ports:对于每个工作节点配置该节点可以运行多少个wor 阅读全文
摘要:
nimbus-datastorm-core/backtype/storm/nimbus.clj (defn nimbus-data [conf inimbus] (let [forced-scheduler (.getForcedScheduler inimbus)] {:conf conf :in 阅读全文