使用log4j将数据流入flume
最近做了一个log抽取的项目，采用log4j+flume实现，在此分享记录一下。
准备
什么是flume？
flume是一个提供高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。
flume提供了source、channel、sink三个组件，实现数据的抽取加载。一组source、channel、sink组成一个agent同步数据，可以通过并联、串联agent的方式来灵活的实现数据抽取。
更多flume的文章可参考：Flume系列文章
log4j+flume
log4j和flume整合，官方提供了两种appender将log4j的日志写入flume，分别是Log4J Appender和Load Balancing Log4J Appender。
Log4J Appender
Log4J Appender将log数据发送到flume的一个avro source中，在flume中可以根据需求在下游接不同的sink。
Log4j Appender使用时，有以下的配置参数（加粗的是必须的）：
| 参数名 | 默认值 | 描述 |
|---|---|---|
| Hostname | – | source的host地址，如：110.110.110.100 |
| Port | – | source的监听端口，如：9999 |
| UnsafeMode | false | 如果为true，则添加程序不会在发送事件失败时引发异常。 |
| AvroReflectionEnabled | false | 使用Avro Reflection序列化Log4j事件。 |
| AvroSchemaUrl | – | avro schema的url地址 |
Load Balancing Log4J Appender
将log数据发送到flume的多个avro source中。实现负载均衡。
使用时，有以下的配置参数（加粗的是必须的）：
| 参数名 | 默认值 | 描述 |
|---|---|---|
| Hosts | – | sources的host:port。是以空格分隔的。如：10.10.10.10:9999 10.10.10.11:9999 |
| Selector | ROUND_ROBIN | 选择机制。必须为ROUND_ROBIN，RANDOM或自定义FQDN。 |
| MaxBackoff | – | 表示负载均衡客户端将从未能消耗事件的节点退出的最长时间（以毫秒为单位）。 |
| UnsafeMode | false | 如果为true，则添加程序不会在发送事件失败时引发异常。 |
| AvroReflectionEnabled | false | 使用Avro Reflection序列化Log4j事件。. |
| AvroSchemaUrl | – | avro schema的url地址 |
Load Balancing Log4J Appender相当于是实现了多个Log4J Appender来实现负载均衡。在flume端，
Load Balancing Log4J Appender需要配置多个avro source来监听输入。
具体实现
pom依赖
<!-- https://mvnrepository.com/artifact/org.apache.flume.flume-ng-clients/flume-ng-log4jappender -->
<dependency>
<groupId>org.apache.flume.flume-ng-clients</groupId>
<artifactId>flume-ng-log4jappender</artifactId>
<version>1.9.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.flume/flume-ng-sdk -->
<dependency>
<groupId>org.apache.flume</groupId>
<artifactId>flume-ng-sdk</artifactId>
<version>1.9.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/log4j/log4j -->
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.slf4j/slf4j-log4j12 -->
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.25</version>
<scope>test</scope>
</dependency>
测试类
package com.upupfeng;
import org.apache.log4j.Logger;
public class Log4j2Flume {
public static void main(String[] args) {
Logger logger = Logger.getLogger(Log4j2Flume.class);
logger.info("test");
}
}
log4j.properties
log4j.rootLogger=debug,stdout,flume
# 输出到控制台
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.layout = org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern =[%d{yyyy-MM-dd HH:mm:ss.SSS}] [%thread] %-5p %l - %m%n
# Log4j Appender
log4j.appender.flume=org.apache.flume.clients.log4jappender.Log4jAppender
log4j.appender.flume.Hostname=192.168.168.200
log4j.appender.flume.Port=41414
log4j.appender.flume.UnsafeMode=true
log4j.appender.flume.layout=org.apache.log4j.PatternLayout
log4j.appender.flume.layout.ConversionPattern=[%d{yyyy-MM-dd HH:mm:ss.SSS}] [%thread] %-5p %l - %m%n
# Load Balancing Log4J Appender
log4j.appender.flume2 = org.apache.flume.clients.log4jappender.LoadBalancingLog4jAppender
log4j.appender.flume2.Hosts = 192.168.168.200:9001 192.168.168.200:9002 192.168.168.200:9003
log4j.appender.flume2.Selector = ROUND_ROBIN
log4j.appender.flume2.MaxBackoff = 30000
log4j.appender.flume2.UnsafeMode = true
log4j.appender.flume2.Threshold=ERROR
log4j.appender.flume2.layout=org.apache.log4j.PatternLayout
log4j.appender.flume2.layout.ConversionPattern=[%d{yyyy-MM-dd HH:mm:ss.SSS}] [%thread] %-5p %l - %m%n
flume-conf.properties
agent的配置。Log4J Appender只需要配置一个agent；Load Balancing Log4J Appender要配置多个。
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 41414
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
## 事件容量
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
对于Log4j Appender的方式，启动一个agent等待接收，运行代码即可在flume的sink端获得数据。
对于Load Balancing Log4J Appender的方式，启动多个agent等待接收，进行负载均衡的接收数据。
参考
http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#log4j-appender
