Storm分布式集群搭建

一、storm版本

       选用storm0.9.6

       

 

 

 

二、本地模式

       用于对storm业务逻辑的调试和测试，可以直接在本地运行。

 

三、分布式模式

       生产环境，需要对应的zookeeper、nimbus、supervisor和storm UI

 

四、主节点Nimbus。

       nimbus作为storm的核心，肩负着对topology的调度和分配，接受storm客户端的命令以及storm UI的请求等任务。

       master节点上部署nimbus

         下载地址：http://storm.apache.org/2015/11/05/storm096-released.html

         

     

 

     master 节点上  上传 解压

    

 

 

    配置nimbus

     

 

 

 

 

      找到zookeeper存在的目录   创建storm

 

 

 

 

 

 

 

 注意：

 

 

 

 

 

 

 

 

 

 下面的配置可以更加方面 不用去目录下运行了

 

 

 

使其生效

 

 

 

 

 启动nimbus

 

 

五、工作节点Supervisor

      Supervisor监听Nimbus的任务分配，启动worker来对相应的任务进行处理。通时Supervisor会对本地的worker进程进行监控，如果发现状态不正常会重启worker。如果任务多次失败，则将该任务交还给Nimbus进行再次重新分配。

 

      

   将master节点的包发送至其他节点：scp apache-storm-0.9.6.tar.gz slave1:/home/hadoop/app

 

                                                             scp apache-storm-0.9.6.tar.gz slave2:/home/hadoop/app

 

        

 

    

    解压：[hadoop@slave1 app]$ tar -zxvf apache-storm-0.9.6.tar.gz 

              [hadoop@slave2 app]$ tar -zxvf apache-storm-0.9.6.tar.gz 

 

 

 

    将master节点的配置文件拷贝到slave1  slave2

 

    

 

   后台启动

   

 

 

 

 

 

 查看进程

 

 

 

 

 

六、storm UI

      web服务器，在指定端口提供网页服务。可以获取系统配置、作业和各个组件的运行状态；可以暂停和撤销作业。

 

      在nimbus节点（master）上部署storm UI

 

    在nimbus节点启动strom UI

    

     查看进程

     

    

 

 

     页面访问

     192.168.80.11:8080

      

报错

记得启动zookeeper

 

 

 

 

七、storm配置项

       https://github.com/apache/storm/blob/master/conf/defaults.yaml