一:Storm集群环境搭建
第一:storm集群环境准备及部署
【1】硬件环境准备
--->机器数量>=3
--->网卡>=1
--->内存:尽可能大
--->硬盘:无额外需求
【2】软件环境准备
--->CentOS-6.0-x86_64系统环境
--->三台地址
--->zookeeper和storm公用物理环境
第二:节点环境查看
第三:节点之间用ip-->别名绑定/etc/hosts,然后用ping 别名 进行测试
第四:zookeeper集群环境搭建
第五:Storm集群环境搭建
【1】storm集群搭建的基本流程
【2】storm常用配置的讲解
第六:Storm安装包下载
第七:安装Storm
【1】将压缩包解压,并移动到创建的storm目录下
【2】storm.yaml配置文件的配置(配置文件不要空行,前边不要加空格)
#storm节点和zooKeeper集群建立链接的配置(zookeeper的节点名字用的是其所在机器的hostname)
storm.zookeeper.servers:
- "sjm6-qatest10-30.75"
- "sjm6-qatest11-30.76"
- "sjm6-qatest12-30.77"
#storm集群中的nimbus节点的配置
nimbus.host: "sjm6-qatest10-30.75"
#storm记录临时状态的配置(:后加一个空格,会自动创建)
storm.local.dir: "/var/storm/status"
#storm工作节点的进程端口。每配置一个端口,则工作节点就可以多启动一个worker
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
【3】storm环境变量的配置
#jdk
export JAVA_HOME=/apps/jdk1.6.0_19
export JAVA_BIN=/apps/jdk1.6.0_19/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
#zookeeper
export ZOOKEEPER_HOME= /opt/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH
#storm
export STORM_HOME=/opt/storm/apache-storm-0.9.2-incubating
export PATH=$STORM_HOME/bin:$PATH
【4】storm的启动
#storm ui >/dev/null 2>&1 &
==>启动storm的ui,将输出指向/dev/null设备中
==>2>&1 错误指向正常输出
==>& 表示后台运行
# storm nimbus>/dev/null 2>&1 &
==>启动nimbus节点
# storm supervisor>/dev/null 2>&1 &
==>启动supervisor节点
【5】storm的ui界面