摘要：1.基本结构介绍 flume是三层架构，agent，collector，storage。每一层都可水平扩展。 其中，agent就是数据采集方；collector是数据整合方；storage是各种数据落地方，如hdfs。 前两者都是由source和sink组成，source是数据读取组件，sink是数
阅读全文
07 2016 档案
摘要：在storm集群中，我们常常使用zookeeper作为协调者。那么具体发挥的是什么作用呢？ 概括来说，zookeeper是nimbus和supervisor进行交互的中介。具体来说有二： 1、nimbus通过在zookeeper上写状态信息来分配任务。通俗的讲就是写哪些supervisor执行哪些t
阅读全文
