Storm安装部署
1.从官网下载安装包,并通过Xftp5上传到机器集群上
下载apache-storm-1.2.1.tar.gz 版本,并通过Xftp5上传到hadoop机器集群的第一个节点node1上的/opt/uploads/目录:
2、解压apache-storm-1.2.1.tar.gz,并把解压的安装包移动到/opt/app/目录上
tar zxvf apache-storm-1.2.1.tar.gz
mv apache-storm-1.2.1 /opt/app/ && cd /opt/app/
3、修改环境变量(每台机器都要执行),编辑/etc/profile,并生效环境变量,输入如下命令:
sudo vi /etc/profile
添加如下内容:
export STORM_HOME=/opt/app/apache-storm-1.2.1
export PATH=:\$PATH:\$STORM_HOME/bin
使环境变量生效:source /etc/profile
4、zookeeper集群搭建
①下载解压zookeeper:http://zookeeper.apache.org/releases.html
②修改zookeeper的conf/zoo.cfg文件,增加如下内容:
dataDir=/opt/app/zookeeper-3.4.5/data
clientPort=2181
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888
③启动zookeeper集群
在每台机器上通过zookeeper的bin/zkServer.sh start启动zk,zookeeper会自动组件集群。
6、修改配置文件storm.yaml
进入storm配置文件的目录,cd /opt/app/apache-storm-1.2.1/conf/
修改storm.yaml文件 vi storm.yaml,将以下内容写入到storm.yaml文件中
# zookeeper集群的hosts
storm.zookeeper.servers:
- "hadoop1"
- "hadoop2"
- "hadoop3"
# 指定zookeeper的端口
storm.zookeeper.port: 2181
# storm存储的数据目录
storm.local.dir: "/opt/app/apache-storm-1.2.1/storm-local"
# 指定storm集群中的nimbus节点所在的服务器
nimbus.seeds: ["hadoop1"]
# 指定nimbus启动JVM最大可用内存大小
nimbus.childopts: "-Xmx1024m"
# 指定supervisor启动JVM最大可用内存大小
supervisor.childopts: "-Xmx768m"
# 指定ui启动JVM最大可用内存大小,ui服务一般与nimbus同在一个节点上
ui.childopts: "-Xmx768m"
# 指定supervisor节点上,启动worker时对应的端口号,每个端口对应槽,每个槽位对应一个worker
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
storm.health.check.dir: "healthchecks"
storm.health.check.timeout.ms: 5000
其中storm.local.dir指定的目录需要提前创建,supervisor.slots.ports配置的端口数量决定了每台supervisor机器的worker集群,每个worker会有自己的监听端口用于监听任务。
7、把storm的安装包发送到其他节点机器
scp -r /opt/app/apache-storm-1.2.1/ hadoop@hadoop2:/opt/app/
scp -r /opt/app/apache-storm-1.2.1/ hadoop@hadoop3:/opt/app/
8、启动storm
在hadoop1节点机器上启动nimbus和监控ui
nohup storm nimbus &
nohup storm ui &
在hadoop2和hadoop3节点机器上启动supervisor作为worker
nohup storm supervisor &
9、环境确认
通过浏览器访问ui监控界面,“storm ui”命令运行的机器ip + 默认8080端口,如图:
前提条件:三台机器集群是部署在VMware 12上面的,通过NAT网络通信,如果需要访问虚拟机的8080端口,需要在VMware12上面设置端口转发,如图:
至此,storm集群搭建完成,主要工作为:①zookeeper的安装配置;②storm中配置zookeeper的地址;③分别启动storm的nimbus和supervisor及监控ui。
参考资料:
https://blog.csdn.net/qingkangxu/article/details/79513697
http://storm.apache.org/releases/1.2.1/Setting-up-a-Storm-cluster.html