storm集群安装部署
安装步骤：
- 搭建Zookeeper集群；
- 安装Storm依赖库；
- 下载并解压Storm发布版本；
- 修改storm.yaml配置文件；
- 启动Storm各个后台进程。
1、 搭建Zookeeper集群
这一步基本已经部署（homed已经部署）。如果没有部署，请参考zookeeper部署文档。
2、 安装Storm依赖库
需要在Nimbus和Supervisor机器上安装Storm的依赖库，具体如下：
- ZeroMQ 2.1.7 – 请勿使用2.1.10版本，因为该版本的一些严重bug会导致Storm集群运行时出现奇怪的问题。少数用户在2.1.7版本会遇到"IllegalArgumentException"的异常，此时降为2.1.4版本可修复这一问题。
- JZMQ
- Java 7
- Python 2.6.6
- Unzip
2.1 安装jdk1.7
1. 下载并安装JDK 7；
2. 配置JAVA_HOME环境变量；
3. 运行java、javac命令，测试java正常安装
2.2 安装python2.6.6
- 下载Python2.6.6：
wget http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tar.bz2
- 编译安装Python2.6.6：
|
tar –jxvf Python-2.6.6.tar.bz2 cd Python-2.6.6 ./configure make make install
|
注意：这一步一般系统已经自带python2.6.6，可以省略。
2.3 安装unzip
yum install unzip
2.4 下载后编译安装ZMQ：
安装之前先安装依赖：
yum install uuid uuid-devel libuuid-devel
|
wget http://download.zeromq.org/zeromq-2.1.7.tar.gztar -xzf zeromq-2.1.7.tar.gz cd zeromq-2.1.7 ./configure make make install
|
2.5 安装JZMQ
下载后编译安装JZMQ：
|
git clone https://github.com/nathanmarz/jzmq.gitcd jzmq ./autogen.sh ./configure make make install
|
3、 安装storm
3.1 软件及版本
storm-0.9.3.tar.gz
1.1下载及解压到指定目录/r2/storm(这里看磁盘情况)
|
wget http://archive.apache.org/dist/.../ storm-0.9.3.tar.gz
mkdir /r2/storm tar -zxvf storm-0.9.3.tar.gz -C /r2/storm |
3.2 修改storm.yaml配置文件
解压后，进入conf目录，vim storm.yaml文件：
增加以上内容：
|
worker.childopts: "-Xmx1024m" storm.zookeeper.servers: - "slave6" - "slave7" - "slave9" - "slave10" nimbus.host: "slave29"
storm.local.dir: "/r2/storm-0.9.3/data" ui.port: 18080 supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703 |
保存后退出。
3.3 创建/r2/storm-0.9.3/data
Mkdir -p /r2/storm-0.9.3/data
创建后保证当前用户可以有读写权限。
3.4 启动Storm各个后台进程
Storm启动前，保证zookeeper已经正常运行。
启动Storm各个后台进程的方式：
- Nimbus: 在Storm主控节点上运行"bin/storm nimbus >/dev/null 2>&1 &"
启动Nimbus后台程序，并放到后台执行；
- Supervisor: 在Storm各个工作节点上运行"bin/storm supervisor >/dev/null 2>&1 &"
启动Supervisor后台程序，并放到后台执行；
- UI: 在Storm主控节点上运行"bin/storm ui >/dev/null 2>&1 &"
启动UI后台程序，并放到后台执行，启动后可以通过http://{nimbus host}:8080观察集群的worker资源使用情况、Topologies的运行状态等信息。
注意事项：
- Storm后台进程被启动后，将在Storm安装部署目录下的logs/子目录下生成各个进程的日志文件。
- 经测试，Storm UI必须和Storm Nimbus部署在同一台机器上，否则UI无法正常工作，因为UI进程会检查本机是否存在Nimbus链接。
- 为了方便使用，可以将bin/storm加入到系统环境变量中。
至此，Storm集群已经部署、配置完毕，可以向集群提交拓扑运行了。
4、 向storm集群提交任务
4.1 启动Storm Topology：
storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3
其中，allmycode.jar是包含Topology实现代码的jar包，org.me.MyTopology的main方法是Topology的入口，arg1、arg2和arg3为org.me.MyTopology执行时需要传入的参数。
4.2 停止Storm Topology：
storm kill {toponame}
其中，{toponame}为Topology提交到Storm集群时指定的Topology任务名称。
5、 安装storm出现的问题
1、 修复/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory问题。在64系统里执行32位程序如果出现/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory，安装下glic即可
yum install glibc.i686
*注意在安装uuid-dev的时候不同系统安装的名称不一样，使用centos，redhat的需要安装yum install libuuid-devel,uuid,uuid-devel，ubuntu的同学可以直接安装uuid-dev : apt-get install uuid-dev
2、 安装 安装ZMQ 2.1.7
./autogen.sh
1）、configure: error: cannot link with -luuid, install uuid-dev.
yum install uuid uuid-devel
安装后还是错误。
解决办法 ：
libuuid is part of the util-linux-ng package since version 2.15.1 and is available from
ftp://ftp.kernel.org/pub/linux/utils/util-linux/v2.21/util-linux-2.21.1.tar.gz
安装了 util-linux-2.21.1.tar.gz 后， 就OK了。
2）、./autogen.sh 安装缺少libtool：
yum install libtool
3、安装 jzmq ：
1）configure 前
export CPPFLAGS=-I/usr/local/zeromq-2.1.7/include/
export LDFLAGS=-L/usr/local/zeromq-2.1.7/lib/
否则报：configure: error: cannot find zmq.h
2）报错
configure: error: cannot link with -lzmq
指定CC路径就好了：
./configure CC=/usr/bin/gcc
4、error while loading shared libraries: libz.so.1:
cannot open shared object file: No such file or directory
sudo yum install zlib.i686
5、启动zookeeper找不到主机: 在这个例子里面 主机名是T214.joy.cc,在 /etc/sysconfig/network定义的主机名,我们需要
使用加入到hosts文件>
192.168.1.214 T214.joy.cc
2013-07-09 13:59:20 supervisor [ERROR] Error on initialization of server mk-supervisor
java.net.UnknownHostException: T214.joy.cc: T214.joy.cc
at java.net.InetAddress.getLocalHost(InetAddress.java:1454)
at backtype.storm.util$local_hostname.invoke(util.clj:153)
at backtype.storm.daemon.supervisor$supervisor_data.invoke(supervisor.clj:180)
at backtype.storm.daemon.supervisor$fn__4733$exec_fn__1207__auto____4734.invoke(supervisor.clj:324)
at clojure.lang.AFn.applyToHelper(AFn.java:167)
at clojure.lang.AFn.applyTo(AFn.java:151)
at clojure.core$apply.invoke(core.clj:601)
at backtype.storm.daemon.supervisor$fn__4733$mk_supervisor__4758.doInvoke(supervisor.clj:320)
at clojure.lang.RestFn.invoke(RestFn.java:436)
at backtype.storm.daemon.supervisor$_launch.invoke(supervisor.clj:467)
at backtype.storm.daemon.supervisor$_main.invoke(supervisor.clj:494)
at clojure.lang.AFn.applyToHelper(AFn.java:159)
at clojure.lang.AFn.applyTo(AFn.java:151)
at backtype.storm.daemon.supervisor.main(Unknown Source)
2013-07-09 13:59:20 util [INFO] Halting process: ("Error on initialization")
6、防火墙的问题：
hadoop集群环境(linux系统)中最好关闭防火墙，不然会出现很多问题，例如namenode找不到datanode等。
如果不关闭防火墙，客户端使用API操作HDFS以及ZooKeeper，可能就会出现下面常见的两种异常：
1.使用API操作HDFS时会出现异常：java.net.NoRouteToHostException: No route to host
2.使用API操作ZK时会出现异常：org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for xxxx
解决方法:
查看防火墙是否开启：
service iptables status
使用root权限登陆后，输入关闭防火墙命令，每个运行hadoop和zk的都要关(两条命令任选一个):
/etc/init.d/iptables stop
service iptables stop
7.storm ui显示supervisor个数与实际不符的解决
删除了配置文件的local dir，重启后恢复正常。是因为这个集群是拿线上的环境scp的，可能残留了local dir的东西，然后storm是根据local dir中的某一个或一些文件计算出一个supervisor id的。删除local dir后，会重新生成id。
