摘要: 一、storm的并发 (1)Workers(JVMs):在一个物理节点上可以运行一个或多个独立的JVM进程。一个Topology可以包含一个或多个worker(并行的跑在不同的物理机上),所以worker process就是执行一个topology的子集, 并且worker只能对应于一个topolo 阅读全文
posted @ 2018-08-14 07:55 纪煜楷 阅读(976) 评论(0) 推荐(0) 编辑
摘要: 一、流式计算概念 利用分布式的思想和方法,对海量“流”式数据进行实时处理,源自业务对海量数据,在“时效”的价值上的挖掘诉求,随着大数据场景应用场景的增长,对流式计算的需求愈发增多,流式计算的一般架构图如下: Flume获取数据-->Kafka传递数据-->Strom计算数据-->Redis保存数据 阅读全文
posted @ 2018-08-14 00:47 纪煜楷 阅读(2460) 评论(0) 推荐(0) 编辑