Storm—Storm集群搭建
3.1 环境准备
3.1.1 集群规划
hadoop102 hadoop103 hadoop104
zk zk zk
storm storm storm
3.1.2 jar包下载
（1）官方网址：http://storm.apache.org/
（2）安装集群步骤：
http://storm.apache.org/releases/1.1.0/Setting-up-a-Storm-cluster.html
3.1.3 虚拟机准备
1）准备3台虚拟机
2）配置ip地址
3）配置主机名称
4）3台主机分别关闭防火墙
[root@hadoop102 atguigu]# chkconfig iptables off
[root@hadoop103 atguigu]# chkconfig iptables off
[root@hadoop104 atguigu]# chkconfig iptables off
3.1.4 安装jdk
3.1.5 安装Zookeeper
0）集群规划
在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。
1）解压安装
（1）解压zookeeper安装包到/opt/module/目录下
[atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
（2）在/opt/module/zookeeper-3.4.10/这个目录下创建zkData
mkdir -p zkData
（3）重命名/opt/module/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg
mv zoo_sample.cfg zoo.cfg
2）配置zoo.cfg文件
（1）具体配置
dataDir=/opt/module/zookeeper-3.4.10/zkData
增加如下配置
#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888
（2）配置参数解读
Server.A=B:C:D。
A是一个数字，表示这个是第几号服务器；
B是这个服务器的ip地址；
C是这个服务器与集群中的Leader服务器交换信息的端口；
D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。
集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
3）集群操作
（1）在/opt/module/zookeeper-3.4.10/zkData目录下创建一个myid的文件
touch myid
添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码
（2）编辑myid文件
vi myid
在文件中添加与server对应的编号：如2
（3）拷贝配置好的zookeeper到其他机器上
scp -r zookeeper-3.4.10/ root@hadoop103.atguigu.com:/opt/app/
scp -r zookeeper-3.4.10/ root@hadoop104.atguigu.com:/opt/app/
并分别修改myid文件中内容为3、4
（4）分别启动zookeeper
[root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop104 zookeeper-3.4.10]# bin/zkServer.sh start
（5）查看状态
[root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[root@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
3.2 Storm集群部署
3.2.1 配置集群
1）拷贝jar包到hadoop102的/opt/software目录下
2）解压jar包到/opt/module目录下
[atguigu@hadoop102 software]$ tar -zxvf apache-storm-1.1.0.tar.gz -C /opt/module/
3）修改解压后的apache-storm-1.1.0.tar.gz文件名称为storm
[atguigu@hadoop102 module]$ mv apache-storm-1.1.0/ storm
4）在/opt/module/storm/目录下创建data文件夹
[atguigu@hadoop102 storm]$ mkdir data
5）修改配置文件
[atguigu@hadoop102 conf]$ pwd
/opt/module/storm/conf
[atguigu@hadoop102 conf]$ vi storm.yaml
|
# 设置Zookeeper的主机名称 storm.zookeeper.servers: - "hadoop102" - "hadoop103" - "hadoop104"
# 设置主节点的主机名称 nimbus.seeds: ["hadoop102"]
# 设置Storm的数据存储路径 storm.local.dir: "/opt/module/storm/data"
# 设置Worker的端口号 supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703 |
6）配置环境变量
[root@hadoop102 storm]# vi /etc/profile
|
#STORM_HOME export STORM_HOME=/opt/module/storm export PATH=$PATH:$STORM_HOME/bin |
[root@hadoop102 storm]# source /etc/profile
7）分发配置好的Storm安装包
[atguigu@hadoop102 storm]$ xsync storm/
8）启动集群
（1）后台启动nimbus
[atguigu@hadoop102 storm]$ bin/storm nimbus &
[atguigu@hadoop103 storm]$ bin/storm nimbus &
[atguigu@hadoop104 storm]$ bin/storm nimbus &
（2）后台启动supervisor
[atguigu@hadoop102 storm]$ bin/storm supervisor &
[atguigu@hadoop102 storm]$ bin/storm supervisor &
[atguigu@hadoop102 storm]$ bin/storm supervisor &
（3）启动Storm ui
[atguigu@hadoop102 storm]$ bin/storm ui
9）通过浏览器查看集群状态
http://hadoop102:8080/index.html
3.2.2 Storm日志信息查看
1）查看nimbus的日志信息
在nimbus的服务器上
cd /opt/module/storm/logs
tail -100f /opt/module/storm/logs/nimbus.log
2）查看ui运行日志信息
在ui的服务器上，一般和nimbus一个服务器
cd /opt/module/storm/logs
tail -100f /opt/module/storm/logs/ui.log
3）查看supervisor运行日志信息
在supervisor服务上
cd /opt/module/storm/logs
tail -100f /opt/module/storm/logs/supervisor.log
4）查看supervisor上worker运行日志信息
在supervisor服务上
cd /opt/module/storm/logs
tail -100f /opt/module/storm/logs/worker-6702.log
5）logviewer，可以在web页面点击相应的端口号即可查看日志
分别在supervisor节点上执行：
[atguigu@hadoop102 storm]$ bin/storm logviewer &
[atguigu@hadoop103 storm]$ bin/storm logviewer &
[atguigu@hadoop104 storm]$ bin/storm logviewer &
3.2.3 Storm命令行操作
1）nimbus：启动nimbus守护进程
storm nimbus
2）supervisor：启动supervisor守护进程
storm supervisor
3）ui：启动UI守护进程。
storm ui
4）list：列出正在运行的拓扑及其状态
storm list
5）logviewer：Logviewer提供一个web接口查看Storm日志文件。
storm logviewer
6）jar：
storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】
7）kill：杀死名为Topology-name的拓扑
storm kill topology-name [-w wait-time-secs]
-w：等待多久后杀死拓扑
8）active：激活指定的拓扑spout。
storm activate topology-name
9）deactivate：禁用指定的拓扑Spout。
storm deactivate topology-name
10）help：打印一条帮助消息或者可用命令的列表。
storm help
storm help <command>
