Storm知识点

1. 离线计算是什么？

离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示

代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、Azkaban任务调度。

2. 流式计算是什么？

流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示

代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(mysql)。

3. storm核心组件和架构？

• 核心组件

DataSource：外部数据源；

Spout：接受外部数据源的组件，以Tuple为基本单元发给Bolt；

Bolt：根据业务逻辑进行处理，发送给下一个Bolt或者是存储到某种介质上，比如Kafka、Redis或者Mysql；

Tuple：数据传输的基本单元，里面封装了一个List对象来保存数据；

• 架构

Nimbus：任务分配

Supervisor：接受任务，并启动worker。worker的数量根据端口号来的；

Worker：执行任务的具体组件（就是一个JVM）,可以执行Spout任务或者bolt任务，一个topology要求的worker数量如果不被满足，在任务分配时根据现有的worker先运行topology，如果当前集群中worker数量为0，那么最新提交的topology将只会被标识active，不会运行，只有当集群有了空闲资源之后，才会被运行；

Task：默认Task=线程=executor。 一个Task属于一个Spout或者Bolt并发任务；

Zookeeper：保存任务分配的信息、心跳信息、元数据信息。

4. 并发度

用户指定的一个任务，可以被多个线程执行，并发度的数量等于线程的数量。一个任务的多个线程，会被运行在多个Worker（JVM）上。

5. Storm运行模式

本地模式：在当前IDE运行；

集群模式：在集群上运行。

6. Storm常见的分组策略

共有7种，这里记录常见的几种：

shuffleGrouping-随机分组：Random函数；

Non Grouping-不分组：Random函数；

FieldGrouping-字段分组：Hash取模，保证同一类型数据数据流向同一个worker上的task；

Local or ShuffleGrouping-本地随机分组：本地或随机，优先本地。

7. Storm操作命令

• 任务提交命令：storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】

storm jar /export/servers/storm/examples/storm-starter/storm-starter-topologies-1.0.3.jar org.apache.storm.starter.WordCountTopology  wordcount

与hadoop不同的是：不需要指定输入输出路径，因为在代码中已经记录了

hadoop jar /usr/local/wordcount.jar /data.txt /wcout 

• 杀死任务命令：storm kill 【拓扑名称】 -w 10（执行kill命令时可以通过-w [等待秒数]指定拓扑停用以后的等待时间）

storm kill topology-name -w 10

•  停用任务命令：storm deactive  【拓扑名称】

storm deactive topology-name

我们能够挂起或停用运行中的拓扑。当停用拓扑时，所有已分发的元组都会得到处理，但是spouts的nextTuple方法不会被调用。销毁一个拓扑，可以使用kill命令。它会以一种安全的方式销毁一个拓扑，首先停用拓扑，在等待拓扑消息的时间段内允许拓扑完成当前的数据流。

• 启用任务命令：storm activate 【拓扑名称】

storm activate topology-name

•  重新部署任务命令：storm rebalance  【拓扑名称】

storm rebalance topology-name

再平衡使你重分配集群任务。这是个很强大的命令。比如，你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑，然后在相应超时时间之后重分配worker，并重启拓扑。

8. Storm Ack机制

为了保证数据能正确的被处理, 对spout产生的每一个tuple, storm都会进行跟踪。即ACK机制，storm启动acker task参与工作流程：

• Spout创建一个新的Tuple时，会发一个消息通知acker去跟踪；

• Bolt在处理Tuple成功或失败后，也会发一个消息通知acker；

• acker会找到发射该Tuple的Spout，回调其ack或fail方法。 

Storm的Bolt有BaseBasicBolt和BaseRichBolt，可以在这两种bolt中实现可靠消息传递：

在BaseBasicBolt中，BasicOutputCollector在emit数据的时候，会自动和输入的tuple相关联，而在execute方法结束的时候那个输入tuple会被自动ack。 

//BaseBasicBolt 实现可靠消息传递
public class SplitSentence extends BaseBasicBolt {//自动建立 anchor，自动 ack
　　public void execute(Tuple tuple, BasicOutputCollector collector) {
　　　　String sentence = tuple.getString(0);
　　　　for(String word: sentence.split(" ")) {
　　　　　　collector.emit(new Values(word));
　　　　}
　　}
　　public void declareOutputFields(OutputFieldsDeclarer declarer) {
　　　　declarer.declare(new Fields("word"));
　　}
}

在使用BaseRichBolt需要在emit数据的时候，显示指定该数据的源tuple要加上参数anchor tuple，以保持tracker链路，即collector.emit(oldTuple, newTuple);并且需要在execute执行成功后调用OutputCollector.ack(tuple), 当失败处理时，执行OutputCollector.fail(tuple);

//BaseRichBolt 实现可靠消息传递
public class SplitSentence extends BaseRichBolt {//建立 anchor 树以及手动 ack 的例子
    OutputCollector _collector;
    public void prepare(Map conf, TopologyContext context, OutputCollector collector) {
        _collector = collector;
    }
    public void execute(Tuple tuple) {
        String sentence = tuple.getString(0);
        for(String word: sentence.split(" ")) {
            _collector.emit(tuple, new Values(word)); // 建立 anchor 树
        }
        _collector.ack(tuple); //手动 ack，如果想让 Spout 重发该 Tuple，则调用 _collector.fail(tuple);
    }
    public void declareOutputFields(OutputFieldsDeclarer declarer) {
        declarer.declare(new Fields("word"));
    }
}

9. 调整可靠性

有时候需要调整Storm的可靠性。例如，不关心数据是否丢失，或者想看看后面是否有某个Bolt拖慢Spout速度。有三种方法可以实现：

• 在build topology时，设置acker数目为0，即conf.setNumAckers(0);

• 在Spout中，不指定messageId，使得Storm无法追踪；

• 在Bolt中，使用Unanchor方式发射新的Tuple。

10. Jstorm查看CPU核数

可以用cpu.used / 100向上取整大致估计

 

 

11. Jstorm消费kakfa单条数据太大起Lag

可以设置kafka spout参数：

Kafka spoutConfig.fetchSizeBytes = 8388608;
Kafka spoutConfig.bufferSizeBytes = 8388608;