flume整合kafka

一、需求

• 利用flume采集Linux下的文件信息，并且传入到kafka集群当中。
• 环境准备zookeeper集群和kafka集群安装好。

二、配置flume

• 官网下载flume。博主自己这里使用的是flume1.6.0。
• 官网地址http://flume.apache.org/download.html
• 解压缩。tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /usr/apps/
• 创建flume配置文件。
• cd /usr/apps/flume/apache-flume-1.6.0-bin/conf
• vim exec.conf  flume配置文件如下

a1.sources = r1
a1.channels = c1
a1.sinks = k1
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /usr/test/click_log/1.log
a1.sources.r1.channels = c1
a1.channels.c1.type=memory
a1.channels.c1.capacity=10000
a1.channels.c1.transactionCapacity=100
#固定的不需要修改
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
#消息的主题
a1.sinks.k1.topic = logMq
#kafka broker集群
a1.sinks.k1.brokerList = bhz136:9092,bhz137:9092,bhz139:9092
a1.sinks.k1.requiredAcks = 1
a1.sinks.k1.batchSize = 20
a1.sinks.k1.channel = c1

三、启动flume连接到kafka

• ./bin/flume-ng agent -n a1 -c conf -f conf/exec.conf -Dflume.root.logger=INFO,console

四、启动kafka消费者消费数据

• kafka-console-consumer.sh --zookeeper bhz136:2181 --from-beginning --topic logMq

五、运行测试程序。测试结果如下：

注：1.log文件是通过以下脚本生成的测试文件

for((i=0;i<=50000;i++));
        do echo "message-"+$i >>/usr/test/click_log/1.log;
done