Storm集群搭建
集群机器的分布情况:
1.storm集群依赖于zookeeper,所以要先保证zookeeper集群的正确运行。
2. 搭建Storm集群环境
cd /export/software/
rz 上传apache-storm-1.1.1.tar.gz
tar -xvf apache-storm-1.1.1.tar.gz -C /export/servers/
cd /export/servers/
mv apache-storm-1.1.1/ storm
#配置环境变量vi /etc/profile
export STORM_HOME=/export/server/storm
export PATH=${STORM_HOME}/bin:$PATH
source /etc/profile
3.修改配置文件:
cd /export/servers/storm/conf/
vim /export/server/storm/conf/storm.yaml
#指定zookeeper服务的地址
storm.zookeeper.servers:
- "node01"
- "node02"
- "node03"
#指定nimbus所在的机器
nimbus.seeds: ["node01"]
#指定ui管理界面的端口
ui.port: 18080
#保存退出
4.分发到node02、node03上。
scp -r /export/server/storm/ node2:/export/server/
scp -r /export/server/storm/ node3:/export/server/
scp /etc/profile node2:/etc/
source /etc/profile #在node02上执行
scp /etc/profile node3:/etc/
source /etc/profile #在node03上执行
5.在node01上启动nimbus和ui,node02、node03上启动supervisor。
node01:
nohup storm nimbus > /dev/null 2>&1 &
nohup storm ui > /dev/null 2>&1 &
#logviewer用于在线查看日志文件
nohup storm logviewer > /dev/null 2>&1 &
node02:
nohup storm supervisor > /dev/null 2>&1 &
nohup storm logviewer > /dev/null 2>&1 &
node03:
nohup storm supervisor > /dev/null 2>&1 &
nohup storm logviewer > /dev/null 2>&1 &
6.检查集群是否正常运行
打开浏览器,访问地址:http://node1:18080/index.html