storm集群环境搭建

1.环境

Java环境

卸载虚机环境中自带的openJdk，安装sun的jdk，配置环境变量

 

2.安装storm

下载storm安装包

解压到安装目录，配置环境变量

vi /etc/profile

#storm环境变量

export STORM_HOME=/opt/deploy/storm/apache-storm-1.1.1

export PATH=$PATH:$STORM_HOME/bin

 

3.编写配置文件

storm.yaml文件

 

vi storm.yaml

 

#zookeeper集群虚机ip

 storm.zookeeper.servers:

     - "192.168.0.1"

     - "192.168.0.2"

     - "192.168.0.3"

#nimbus机器ip

 nimbus.seeds: ["192.168.0.4"]

#zookeeper端口

storm.zookeeper.port: 2181

#storm少量数据存放地址

storm.local.dir: "/opt/deploy/storm/apache-storm-1.1.1/data"

supervisor.slots.ports:

    - 6700

    - 6701

    - 6702

- 6703

 

创建data文件夹 mkdir apache-storm-1.1.1/data

赋给文件夹读写的权限

sudo chmod -R 777 data

 

注释：

-R 是指级联应用到目录里的所有子目录和文件

777 是所有用户都拥有最高权限

 

 配置完成后通过scp命令分发到storm集群的其他机器上，并修改相应的配置文件

4.启动，测试安装是否成功

4.1 master节点：Storm1

启动nimbus和ui服务。

 

nohup /opt/deploy/storm/apache-storm-1.1.1/bin/storm ui >/dev/null 2>&1 &

nohup /opt/deploy/storm/apache-storm-1.1.1/bin/storm nimbus >/dev/null 2>&1 &

4.2 slave节点：Storm2、Storm3

启动supervisor服务。

nohup /opt/deploy/storm/apache-storm-1.1.1/bin/storm supervisor >/dev/null 2>&1 &

 

4.3 jps查看进程

master节点

jps

出现以下显示

2947 QuorumPeerMain

3828 Jps

3485 nimbus

3437 core

 

slave节点

jps

出现以下显示

1896 Jps

1628 QuorumPeerMain

1726 supervisor

 

5、访问storm1:8888查看storm ui页面

192.168.0.121：8888

 

备注：

如果storm ui页面无法访问，检查一下服务器的防火墙是否没有关闭

 

CentOS 7.0默认使用的是firewall作为防火墙

 

查看防火墙状态

 

firewall-cmd --state

1

停止firewall

 

systemctl stop firewalld.service

1

禁止firewall开机启动

 

systemctl disable firewalld.service