随笔分类 -  storm

大数据实时流式计算处理
摘要:Storm之分区事务PartitionTransaction介绍及示例 阅读全文
posted @ 2015-11-13 15:12 会飞的纸盒 阅读(311) 评论(0) 推荐(0) 编辑
摘要:Storm普通事务ITransactionalSpout及示例 阅读全文
posted @ 2015-10-26 17:03 会飞的纸盒 阅读(673) 评论(0) 推荐(0) 编辑
摘要:storm事务重要概念介绍 阅读全文
posted @ 2015-10-26 09:30 会飞的纸盒 阅读(2508) 评论(0) 推荐(0) 编辑
摘要:storm至drpc介绍 阅读全文
posted @ 2015-10-22 22:02 会飞的纸盒 阅读(1471) 评论(0) 推荐(0) 编辑
摘要:Storm系列(十六)架构分析之Executor-Bolt 阅读全文
posted @ 2015-10-19 14:55 会飞的纸盒 阅读(492) 评论(0) 推荐(0) 编辑
摘要:storm架构分析之Executor-spout 阅读全文
posted @ 2015-10-19 11:46 会飞的纸盒 阅读(776) 评论(0) 推荐(0) 编辑
摘要:Executor输入和输出处理 阅读全文
posted @ 2015-10-13 15:17 会飞的纸盒 阅读(266) 评论(0) 推荐(0) 编辑
摘要:Worker-维护ZMQ连接(mk-refresh-connections、refresh-storm-active、mk-transfer-local-fn 、defn mk-transfer、mk-transfer-tuples-handler ) 阅读全文
posted @ 2015-10-10 10:34 会飞的纸盒 阅读(410) 评论(0) 推荐(0) 编辑
摘要:Worker心跳信息处理与内部数据处理流 阅读全文
posted @ 2015-10-07 15:50 会飞的纸盒 阅读(1581) 评论(0) 推荐(0) 编辑
摘要:管理Worker进程的事件线程 阅读全文
posted @ 2015-10-05 09:55 会飞的纸盒 阅读(1877) 评论(0) 推荐(0) 编辑
摘要:strom 聚流 阅读全文
posted @ 2015-09-22 22:59 会飞的纸盒 阅读(407) 评论(0) 推荐(0) 编辑
摘要:Supervisor之同步Nimbus的事件线程 阅读全文
posted @ 2015-09-11 21:55 会飞的纸盒 阅读(462) 评论(0) 推荐(0) 编辑
摘要:Scheduler-调度器之DefaultScheduler 阅读全文
posted @ 2015-09-11 21:04 会飞的纸盒 阅读(707) 评论(0) 推荐(0) 编辑
摘要:Scheduler-调度器之EventScheduler 阅读全文
posted @ 2015-09-10 11:54 会飞的纸盒 阅读(922) 评论(0) 推荐(0) 编辑
摘要:Nimbus启动过程 (mk-assignments 、compute-new-topology->executor->node+port、compute-executor) 阅读全文
posted @ 2015-09-09 15:26 会飞的纸盒 阅读(1613) 评论(0) 推荐(0) 编辑
摘要:Topology提交校验过程[submitTopology、normalize-topology、system-topology] 阅读全文
posted @ 2015-09-08 17:43 会飞的纸盒 阅读(1052) 评论(0) 推荐(0) 编辑
摘要:提交示例代码: 1 publicstaticvoidmain(String[]args)throwsException{ 2 TopologyBuilderbuilder=newTopologyBuilder(); ... 阅读全文
posted @ 2015-04-19 22:19 会飞的纸盒 阅读(1359) 评论(0) 推荐(0) 编辑
摘要:在Storm的集群里面有两种节点:控制节点和工作节点,控制节点上面运行Nimbus进程,Nimbus负责在集群里面分配计算任务,并且监控状态。每一个工作节点上面运行Supervisor进程,Supervisor负责监听从Nimbus分配给它执行的任务,Nimbus和Supervisor之间的所有协调工作都是通过Zookeeper集群完成。 Storm集群结构图 Topolo... 阅读全文
posted @ 2015-04-09 13:52 会飞的纸盒 阅读(686) 评论(0) 推荐(0) 编辑
摘要:安装前说明: 必须先安装zookeeper集群 该Storm集群由三台机器构成,主机名分别为chenx01,chenx02,chenx03,对应的IP分别为192.168.1.110,192.168.1.111,192.168.1.112,其中chenx01为MAST 1、修改主机名 vim /etc/sysconfig/network NETWORKING=yes ... 阅读全文
posted @ 2015-03-19 22:33 会飞的纸盒 阅读(667) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示