Flume简介

Kafka在实际的开发之中的确可以处理千万级别的数据，但是现在有一个问题，这些数据从哪里来呢？Kafka产生的初衷是进行数据的收集以及合理的消费，但是这些实际之中的数据我们应该如何获取，我们该用什么样的方式来获取，而且最关键的是，如果现在是一个已经成型的系统(SSH、SSM、Spring)，那么这个系统又该如何与Kafka进行合理的对接，可以让一些重要的数据能够得到汇总以及分析呢？

很明显，如果采用传统的模式，那么肯定需要由用户自己明确使用Kafka生产者的操作类对象进行消息的发送后才可以通过kafka的服务进行数据的汇总，但是这样一来，整体的代码就需要进行大面积的修改，而且所有需要进行消息发送的的数据的操作代码都需要重复注入新的对象。这样的作法明显不合理。

于是在这样的状态下有人开始思考，几乎所有的项目之中都会使用到log4j组件。那么如果说现在为所有的log4j组件设计一个通道，让他采集到的数据直接发送给消息系统，而后再由消息系统发送给其他的分析程序，这样一来是不是就不需要大面积修改已有的程序代码程序。而这一思想就是flume的诞生前提，所以flume可以理解为一个日志系统与消息组件之间的过度端。

1、Flume简介
Flume是由Apache 推出的一款日志采集框架，下载的地址：flume.apache.org

Flume核心的本质一定是结合Log4j以及在结合消息组件使用，由于其会产生大规模的日志数据，所以能够承受flume的消息组件，首选kafka。