随笔分类 - storm
大数据实时流式计算处理
摘要:Storm之分区事务PartitionTransaction介绍及示例
阅读全文
摘要:Storm普通事务ITransactionalSpout及示例
阅读全文
摘要:Storm系列(十六)架构分析之Executor-Bolt
阅读全文
摘要:storm架构分析之Executor-spout
阅读全文
摘要:Executor输入和输出处理
阅读全文
摘要:Worker-维护ZMQ连接(mk-refresh-connections、refresh-storm-active、mk-transfer-local-fn 、defn mk-transfer、mk-transfer-tuples-handler )
阅读全文
摘要:Worker心跳信息处理与内部数据处理流
阅读全文
摘要:管理Worker进程的事件线程
阅读全文
摘要:Supervisor之同步Nimbus的事件线程
阅读全文
摘要:Scheduler-调度器之DefaultScheduler
阅读全文
摘要:Scheduler-调度器之EventScheduler
阅读全文
摘要:Nimbus启动过程 (mk-assignments 、compute-new-topology->executor->node+port、compute-executor)
阅读全文
摘要:Topology提交校验过程[submitTopology、normalize-topology、system-topology]
阅读全文
摘要:提交示例代码: 1 publicstaticvoidmain(String[]args)throwsException{ 2 TopologyBuilderbuilder=newTopologyBuilder(); ...
阅读全文
摘要:在Storm的集群里面有两种节点:控制节点和工作节点,控制节点上面运行Nimbus进程,Nimbus负责在集群里面分配计算任务,并且监控状态。每一个工作节点上面运行Supervisor进程,Supervisor负责监听从Nimbus分配给它执行的任务,Nimbus和Supervisor之间的所有协调工作都是通过Zookeeper集群完成。 Storm集群结构图 Topolo...
阅读全文
摘要:安装前说明: 必须先安装zookeeper集群 该Storm集群由三台机器构成,主机名分别为chenx01,chenx02,chenx03,对应的IP分别为192.168.1.110,192.168.1.111,192.168.1.112,其中chenx01为MAST 1、修改主机名 vim /etc/sysconfig/network NETWORKING=yes ...
阅读全文