Storm的物理结构
1.Nimbus
- Storm的Mster,负责资源分配和任务调度,一个Storm集群只有一个Nimbus。
- 集群的主节点,对整个集群的资源使用情况进行管理。
- 但是nimbus是一个无状态的节点,所有的一切都储存在Zookeeper.
2.Supervisor
- Storm的Sjava,负责接收Nimbus分配的任务,管理说有的Worker。
- 一个Supervisor节点中包含多个Worker进程。默认是4个
- 一般情况下一个topology对应一个worker。
3.Worker
- 工作进程,每个工作进程中都有多个Task。
4.Task
- 在Storm集群中每个Spout和Bolt都由若干个任务(tasks)来执行。
- worker(进程)中没一个spout/bolt的线程称为一个task
- 同一个spout/bolt的task可能会共享一个物理线程,该线程称为executor
5.Storm的并行机制
- Topolpgy由一个或多个Spout/Bolt组件构成,运行中的Topolpgy由一个或多个Supervisor节点中的Worker构成
- 默认情况下一个Supervisor节点运行4个worker,由defaults.yaml/storm.yaml中的属性决定。
- worker未特定拓扑的一个或多个组件spout/bolt产生一个或多个executor,默认情况下一个worker运行一个executor
- Executor为特定拖布的一个或多个组件Spout/Bolt实例运行一个或多个Task,默认情况下一个Executor运行一个task。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 展开说说关于C#中ORM框架的用法!