随笔分类 - flume
摘要:Flume、Logstash、Filebeat对比 日志采集工具对比 1、Flume简介 Flume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent,Flume采集系统就是由一个个agent所连接起来形成。每一个agent相当于一个数据传递员,内部有三个组件:
阅读全文
摘要:技巧 - 了解每个模块的处理顺序,方便定位问题(如下图,从左到右处理) - 查看flume的metrics,确定每个flume节点数据是否被接收以及发送: {"SOURCE.src-1":{"OpenConnectionCount":"0", //目前与客户端或sink保持连接的总数量(目前只有av
阅读全文