摘要：自定义http source config handler 自定义Sink config 自定义RollingFileSink 自定义pathManager类型 阅读全文

摘要：前言 本文将简单介绍两种基于Flume的日志收集系统可能的架构方案，可根据不同的实际场景参考使用。 方案一 示例图如下： 说明： 每个日志源（http上报、日志文件等）对应一个Agent-c用于收集对应日志, 收集来的日志可以流到Agent-s-1或Agent-s-2； Agent-c的Sink处理 阅读全文

摘要：Flume简介 Apache Flume是一个分布式、可靠、高可用的日志收集系统，支持各种各样的数据来源，如http，log文件，jms，监听端口数据等等，能将这些数据源的海量日志数据进行高效收集、聚合、移动，最后存储到指定存储系统中，如kafka、分布式文件系统、Solr搜索服务器等； Apach 阅读全文

摘要：前言 最近看了看Apache Flume，在虚拟机里跑了一下flume + kafka + storm + mysql架构的demo，功能很简单，主要是用flume收集数据源（http上报信息），放入到kafka队列里，然后用storm消费kafka里的资源，计算结果并存入到mysql中； 在这期间 阅读全文