storm集群配置
1. 安装zookeeper集群
http://www.cnblogs.com/stevenczp/p/4924420.html
2. 在master上下载storm
官方的release版本下载链接:http://storm.apache.org/downloads.html
一开始我犯了个愚蠢的错误,把源码下载然后安装了,于是不停的报错“the storm client can only be run from within a release”之类的
我解压到了/home/storm/storm目录下
3.然后修改/conf/storm.yaml文件
加入zookeeper配置文件,storm的local文件夹地址,nimbus和supervisor的简单配置
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 | storm.zookeeper.servers: - "master" - "slave1" - "slave2" - "slave3" storm.zookeeper.port: 2181 nimbus.host: "master" storm.local.dir: "/home/storm/storm/storm/data" supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703 |
这一步尤其需要小心
首先所有的配置需要开头空一格,只能用空格,用tab符报错
其次如果在搭建zookeeper的时候修改了端口,那么这里也需要添加zookeeper的端口说明,否则无法工作
如果后续无法正常运行,就看log,然后修改对应的问题
4. 用scp将配置好的storm复制到各个slave下
5. 在master上启动nimbus,ui,在slave上启动supervisor
master:/bin/storm nimbus master:/bin/storm ui slave1:/bin/storm supervisor slave2:/bin/storm supervisor slave3:/bin/storm supervisor
6.浏览器里打开master:8080
如果长时间loading,并且log里有connecting to nimbus之类的字样,那可能就是zookeeper的port不是默认端口但是又没有配置引起的
一切正常的话,就能直接看到集群的状态了
补充
看以前的帖子,老版的storm应该要配置zeromq什么的
但是,至少我使用的0.9.5版本,是不需要配置这些的
依赖项只有,java,zookeeper,python
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· Ollama——大语言模型本地部署的极速利器
· 使用C#创建一个MCP客户端
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· Windows编程----内核对象竟然如此简单?
· ollama系列1:轻松3步本地部署deepseek,普通电脑可用