storm学习笔记

1.storm简介

  a：storm是一个开源免费的分布式实时计算系统，它可以轻松的处理无界的数据流。

  b：storm只负责数据的计算，不负责数据的存储。

2.storm应用场景

  实习计算，在线机器学习，连续计算，分布式RPC，ETL等。

3.storm的核心技术组成

a：Topology(拓扑)

         一个拓扑是一个图的计算，一个拓扑是由若干个Spout，Bolt组成

b：Stream(流)

        流式storm的核心抽象，一个流是一个无界Tuple序列，Tuple可以包含整型，长整型，短整型，字节，字符，双精度数，浮点数，布尔值和字节数组。

c：Spout

        spout是Topology流的数据来源。一般Spout从外部来源读取Tuple,然后提交到Topology。

d：Bolt

      Topology中的所有数据的处理都是在Bolt中完成的。Bolt可以完成数据过滤，业务处理，连接运算，连接，访问数据库等操作。

e：Stream grouping(流分组)

      流分组在Bolt的任务中定义流应该如何分区。

f：Task（任务）

     每个Spout或Bolt在集群中执行许多任务，每个任务对应一个线程的执行。

3.集群架构

Nimbus：负责资源分配和任务调度

Supervisor：负责接受nimbus分配的任务，启动和停止属于自己管理的Worker进程。

Task：worker中每一个spout/bolt的线程称为一个task。

流程：

     a：在集群架构中，用户提交到任务到storm，交由nimbus处理。

     b：nimbus通过zookeeper进行查找supervisor的情况，然后选择supervisor进行执行任务。

     c：supervisor会启动一个work进程，在worker进程中启动线程进行执行具体的业务逻辑。

4.工作进程，执行器，任务之间的关系

 

a：工作进程（worker）：在storm中，所提交的Topology将会在supervisor服务器上启动独立的进程来执行。

b：执行器（executor）：是在worker中执行的线程，在向Topology添加spout或bolt时可以设置线程数。

d：任务（task）：是在执行器中最小的工作单元。

在默认的情况下task和executor的 数量是一样的，也就是说，默认情况下storm会在每个线程上运行一个task。