摘要：
1 Storm的通信机制 说明:1、worker与worker之间跨进程通信； 2、worker内部中各个executor间的通信，Task对象 输入队列queue 执行 输出队列 1.1通信机制的流程图 1.2通信机制的总结 a、每个task中都对应一个输入队列和输出队列； b、一个worker中 阅读全文
摘要：
storm集群启动及任务执行过程分析 1 集群启动过程分析 2 任务提交过程分析 任务分配过程分析 任务启动过程分析 阅读全文
摘要：
1 storm消息的容错机制 说明:数据在处理中出现异常，需要保证数据被完整处理； 需求:Spout A B C D,当其中一个环节出现异常时，Spout能够重新发送一份数据 问题:1、Spout如何知道一条消息的处理状态? 成功:ack(Object msgId) 失败:fail(Object m 阅读全文
摘要：
1 storm的安装部署 1.1下载安装包 "http://storm.apache.org/" 1.2解压安装包 tar zxvf apache storm 0.9.5.tar.gz 建立软连接:ln s apache storm 0.9.5 storm 1.3修改配置 指定storm使用的zk集 阅读全文
摘要：
1 storm并行度的概念 ①当storm程序中某一个环节计算能力跟不上的时候，需要增加多个线程同时执行。由此引出并行度的概念 代码: setBolt(String id, IRichBolt bolt, Number parallelism_hint); 注:如果不指定组件的并行度，默认是一个线程 阅读全文
摘要：
1 storm入门介绍 1.1 背景 实现实时计算系统需要解决那些问题 如果让我们自己设计一个实时计算系统，我们要解决哪些问题。 （1）低延迟：都说了是实时计算系统了，延迟是一定要低的。 （2）高性能：性能不高就是浪费机器，浪费机器是要受批评的哦。 （3）分布式：系统都是为应用场景而生的，如果你的应 阅读全文