Storm分布式集群搭建
一、storm版本
选用storm0.9.6
二、本地模式
用于对storm业务逻辑的调试和测试,可以直接在本地运行。
三、分布式模式
生产环境,需要对应的zookeeper、nimbus、supervisor和storm UI
四、主节点Nimbus。
nimbus作为storm的核心,肩负着对topology的调度和分配,接受storm客户端的命令以及storm UI的请求等任务。
master节点上部署nimbus
下载地址:http://storm.apache.org/2015/11/05/storm096-released.html
master 节点上 上传 解压
配置nimbus
找到zookeeper存在的目录 创建storm
注意:
下面的配置可以更加方面 不用去目录下运行了
使其生效
启动nimbus
五、工作节点Supervisor
Supervisor监听Nimbus的任务分配,启动worker来对相应的任务进行处理。通时Supervisor会对本地的worker进程进行监控,如果发现状态不正常会重启worker。如果任务多次失败,则将该任务交还给Nimbus进行再次重新分配。
将master节点的包发送至其他节点:scp apache-storm-0.9.6.tar.gz slave1:/home/hadoop/app
scp apache-storm-0.9.6.tar.gz slave2:/home/hadoop/app
解压:[hadoop@slave1 app]$ tar -zxvf apache-storm-0.9.6.tar.gz
[hadoop@slave2 app]$ tar -zxvf apache-storm-0.9.6.tar.gz
将master节点的配置文件拷贝到slave1 slave2
后台启动
查看进程
六、storm UI
web服务器,在指定端口提供网页服务。可以获取系统配置、作业和各个组件的运行状态;可以暂停和撤销作业。
在nimbus节点(master)上部署storm UI
在nimbus节点启动strom UI
查看进程
页面访问
192.168.80.11:8080
报错
记得启动zookeeper
七、storm配置项
https://github.com/apache/storm/blob/master/conf/defaults.yaml