storm集群配置

1. 安装zookeeper集群

http://www.cnblogs.com/stevenczp/p/4924420.html

 

2. 在master上下载storm

官方的release版本下载链接:http://storm.apache.org/downloads.html

一开始我犯了个愚蠢的错误,把源码下载然后安装了,于是不停的报错“the storm client can only be run from within a release”之类的

我解压到了/home/storm/storm目录下

 

3.然后修改/conf/storm.yaml文件

 加入zookeeper配置文件,storm的local文件夹地址,nimbus和supervisor的简单配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
storm.zookeeper.servers:
     - "master"
     - "slave1"
     - "slave2"
     - "slave3"
storm.zookeeper.port: 2181
nimbus.host: "master"
 
storm.local.dir: "/home/storm/storm/storm/data"
 
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

  这一步尤其需要小心

      首先所有的配置需要开头空一格,只能用空格,用tab符报错

      其次如果在搭建zookeeper的时候修改了端口,那么这里也需要添加zookeeper的端口说明,否则无法工作

      如果后续无法正常运行,就看log,然后修改对应的问题

 

4. 用scp将配置好的storm复制到各个slave下

5. 在master上启动nimbus,ui,在slave上启动supervisor

master:/bin/storm nimbus
master:/bin/storm ui

slave1:/bin/storm supervisor
slave2:/bin/storm supervisor
slave3:/bin/storm supervisor

6.浏览器里打开master:8080

如果长时间loading,并且log里有connecting to nimbus之类的字样,那可能就是zookeeper的port不是默认端口但是又没有配置引起的

一切正常的话,就能直接看到集群的状态了

 

补充

看以前的帖子,老版的storm应该要配置zeromq什么的

但是,至少我使用的0.9.5版本,是不需要配置这些的

依赖项只有,java,zookeeper,python

posted @   qeDVuHG  阅读(341)  评论(0编辑  收藏  举报
编辑推荐:
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
阅读排行:
· Ollama——大语言模型本地部署的极速利器
· 使用C#创建一个MCP客户端
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· Windows编程----内核对象竟然如此简单?
· ollama系列1:轻松3步本地部署deepseek,普通电脑可用
点击右上角即可分享
微信分享提示