安装STORM

1. 安装单机版

Storm的依赖软件比较多,需要装Pythonzookeeperzeromq以及jzmq,然后才是storm的安装。

1.1 安装Python2.7.2

# 下载pythonhttp://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz

# tar zxvf Python-2.7.2.tgz

# cd Python-2.7.2

# ./configure

# make

# make install

# vi /etc/ld.so.conf

     追加/usr/local/lib/

# sudo ldconfig

 

1.2 安装java

#下载java,下载版本1.6.0_32

#cp -r /path/to/java.1.6.0_32 /usr/share/

#在~/.bashrc中追加:

#export JAVA_HOME="/usr/share/java"

#export PATH=$PATH:$JAVA_HOME/bin

 

 1.3 安装Zookeeper

  #下载Zookeeper http://labs.renren.com/apache-mirror/zookeeper/stable/zookeeper-3.3.5.tar.gz

  #tar zxf zookeeper-3.4.4.tar.gz

  #在/etc/profile或者~/.bashrc追加:

  #export ZOOKEEPER_HOME=path/to/zookeeper.3.4.4

  #export PATH=$PATH:$ZOOKEEPER/bin

# cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg (zoo_sample.cfg制作$ZOOKEEPER_HOME/conf/zoo.cfg) 

 1.4 安装ZeroMQ 

 #下载zeromq http://download.zeromq.org/zeromq-2.1.7.tar.gz

 # ./configure

 # make

 #sudo make install

 # sudo ldconfig

这里要说一下在./configure中可能会遇到的问题:

首先我遇到了:configure:error:in '/usr/local/download/zeromq-2.1.7':

congifure:error:no acceptable C compiler found in $PATH

See 'config.log' for more details

这是因为没有安装C编译器。

解决方法是:# yum install gcc*

之后遇到的问题是:Error:cannot link with -luuid, install uuid-dev

这是因为没有安装uuid相关的package

解决方法是:# yum install uuid*

# yum install e2fsprogs*

# yum install libuuid*

1.5 安装jzmq 

# 下载jzmq-master.ziphttps://github.com/zeromq/jzmq 

unzip jzmq-master.zip

# cd jzmq-master

# ./autogen.sh

# ./configure

# make

# make install

1.6 安装配置Storm 

 wget https://github.com/nathanmarz/storm/downloads/storm-0.8.2.zip 

# unzip storm-0.8.2.zip

# cp -R storm-0.8.2 /usr/local/

vi ~/.bashrc

          追加export STORM_HOME=/usr/local/storm-0.8.2

          export PATH=$PATH:$STORM_HOME/bin

到此为止单机版的Storm就安装完毕了。

 

1.7,测试一下本地模式的WordCount

Github里有一个例子叫做storm_starter,我们可以用它来做测试。

按照http://github.com/nathanmarz/storm-starter,执行这个程序需要用lein,我们用eclipse代替lein。打包后进行上传。

1)  安装twitter4j

# mkdir twitter4j

# cd twitter4j

# wget http://twitter4j.org/en/twitter4j-2.2.5.zip

# unzip twitter4j-2.2.5.zip

2) 追加源文件storm-start/src/jvm/storm

    使用eclipse建立java project。追加twitter4jstormjar文件。

    File-> New -> Java Project ->随便取个名字-> Next -> Libraries -> add External JARs...-> 追加twitter4jstormjar文件(/path/to/twitter4j/lib/*.jar/path/to/storm/lib/*.jar/path/to/storm/storm-{version}.jar-> Finsh

    导入storm-start

    File -> Import -> General -> File System -> Next -> Browse(From directory) -> /path/to/storm-start/src/jvm/storm -> Browse(Info floder)  -> xxx -> src -> OK -> “storm” 和 “Create top-level folder”前打勾 -> Finish

完成之后如图:

3) 追加源文件storm-start/multilang/resources×python 文件word count用)

    File -> Import -> General -> File System -> Next -> Browse(From directory) -> /path/to/storm-start/multilang/resources -> Browse(Info floder)  -> xxx -> OK -> check “resources” and “Create top-level folder” -> Finish

 

2个源文件都追加好之后,eclipse左边显示如下图:

 

4) JAR export

    File -> Export -> JAR -> JAR file -> 取消 “.classpath” “.project” 和 “<.settings” ->的勾 browse -> path/to/export/name.jar -> Finish (忽视 warnings)

执行刚才编译的文件。

# storm jar StormStarter.jar storm.starter.ExclamationTopology

 

如果出现类似下面的文字,说明运行成功!

....

11367 [Thread-25] INFO  backtype.storm.daemon.task  - Emitting: class storm.starter.ExclamationTopology$ExclamationBolt source: 2:3, stream: 1, id: {}, [golda!!!]

 

2. 安装集群版

 

 

 

 

posted on 2013-03-07 16:28  Torstan  阅读(813)  评论(0编辑  收藏  举报

导航