Storm的安装与部署

一、硬件环境

假设有4台机，IP及主机名如下：

192.168.100.105 c1
192.168.100.110 c2
192.168.100.115 c3
192.168.100.120 c4

假设部署在/home/目录

 

二、软件环境

操作系统：Ubuntu Server 18.04

JDK：1.8.0

1.安装JDK

https://www.cnblogs.com/live41/p/14235891.html

 

2.安装ZooKeeper

https://www.cnblogs.com/live41/p/15522363.html

 

三、搭建Storm

* 先登录root账号再进行以下操作

* 第1-4点在每台机都要执行

1.下载安装包

http://storm.apache.org/downloads.html

下载apache-storm-2.3.0.tar.gz文件

* 其中2.3.0是版本号，有新版就下载新版

 

2.解压

cd /home
tar -xvf apache-storm-2.3.0.tar.gz
mv apache-storm-2.3.0 storm

 

3.修改环境变量

vim ~/.bashrc

输入以下内容：

export PATH=$PATH:/home/storm/bin

保存退出后，更新环境变量：

source ~/.bashrc

 

4.修改配置

·(1) storm的配置文件是yaml格式，每行的开头要加空格，冒号后面也要加空格，否则运行时会报错。

(2) 有些属性在注释里面没有（就是说不能反注释后修改），要自行添加。

cd /home/storm/conf
vim storm.yaml

输入以下内容：

 storm.zookeeper.servers:
     - "c1"
     - "c2"
     - "c3"

 storm.zookeeper.port: 2181

# 主节点，旧版是nimbus.host
 nimbus.seeds: ["c1"]

# supervisor上运行workers的端口列表。每个worker占用一个端口，即每个端口只能运行一个worker。通过这项配置可以调整每台机器上运行的worker数。
 supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

# Nimbus和Supervisor在本地磁盘上的状态缓存信息(jar包， 配置文件等)
 storm.local.dir: "/home/storm/state"

# UI界面的访问端口，不配置的话，默认是8080
 ui.port: 8086

* 再次提醒：注意行头的空格和冒号后面的空格，否则运行时会报错。

可以用scp命令同步配置文件到c2、c3、c4机。

scp storm.yaml c2:/home/storm/conf
scp storm.yaml c3:/home/storm/conf
scp storm.yaml c4:/home/storm/conf

 

5.启动

在c1机执行

storm nimbus &

在c1、c2、c3、c4机执行

storm supervisor &

在c1机执行

storm ui &

 

6.测试

在浏览器访问：

http://192.168.100.105:8086

 

附1：

Storm的原理和机制

https://www.cnblogs.com/live41/p/15560493.html

 

Storm的开发使用

https://www.cnblogs.com/live41/p/15563263.html

 

附2：

利用脚本批量操作

https://www.cnblogs.com/live41/p/15639567.html