随笔分类 -  flume

摘要:Flume、Logstash、Filebeat对比 日志采集工具对比 1、Flume简介 Flume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent,Flume采集系统就是由一个个agent所连接起来形成。每一个agent相当于一个数据传递员,内部有三个组件: 阅读全文
posted @ 2020-07-15 20:13 heaventouch 阅读(4780) 评论(0) 推荐(0) 编辑
摘要:技巧 - 了解每个模块的处理顺序,方便定位问题(如下图,从左到右处理) - 查看flume的metrics,确定每个flume节点数据是否被接收以及发送: {"SOURCE.src-1":{"OpenConnectionCount":"0", //目前与客户端或sink保持连接的总数量(目前只有av 阅读全文
posted @ 2020-07-08 14:39 heaventouch 阅读(422) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示