Flume 自定义拦截器

Apache Flume是一个分布式的、可靠和易用的日志收集系统，用于将大量日志数据从许多不同的源进行收集、聚合，最终移动到一个集中的数据中心进行存储。

Flume的使用不仅仅限于日志数据聚合，由于数据源是可定制的，Flume可以用于传输大量数据，包括但不限于网络流量数据、社交媒体生成的数据、电子邮件消息和几乎所有可能的数据源。

拦 截 器

Flume在拦截器的帮助下，可以修改或删除正在传送中的event。拦截器是一些实现org.apache.flume.interceptor.Interceptor接口的类，功能类似于Java Servlet中的FilterServlet。

Flume拦截器可以在配置文件的Source组件中进行设置，支持给一个Source组件设置多个拦截器，多个拦截器使用空格连接在一起，根据配置顺序依次执行。如果某个拦截器需要删除event，当event经过该拦截器时，该event会被过滤掉，不会返回给下一个拦截器。

自定义拦截器

对于一些特殊的业务，例如对日志数据进行清洗后存入数据库，或者需要重写event body的内容（Kafka只能收到Flume消息的body部分，不能收到header部分），Flume内置的拦截器往往不能满足我们的需求，这时就需要我们自定义拦截器。

依赖:

<dependency>
    <groupId>org.apache.flume</groupId>
    <artifactId>flume-ng-core</artifactId>
    <version>1.8.0</version>
</dependency>

编写拦截器类:

自定义拦截器类需要实现Interceptor接口并重写intercept()方法。

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72

package com.xc.xcspringboot.test;   import org.apache.commons.codec.Charsets; import org.apache.flume.Context; import org.apache.flume.Event; import org.apache.flume.interceptor.Interceptor;   import java.util.List;   /**  * 自定义拦截器类，修改event body体，将本机IP添加到event body体的前面  */ public class MyFlumeInterceptor implements Interceptor {       private String hostIP = null;// 自定义属性 hostIP       // 私有构造函数，仅在内部类MyBuilder中可以对其实例化     private MyFlumeInterceptor(String hostIP) {         this.hostIP = hostIP;     }       // 修改event的body体     public Event intercept(Event event) {         StringBuilder builder = new StringBuilder();         // 获得body体字节数组         byte[] byteBody = event.getBody();         // 将body体转为字符串         String body = new String(byteBody, Charsets.UTF_8);         // 拼接IP与body体，形成新body         builder.append("ip:" + hostIP);         builder.append(";body:" + body);         byte[] newBody = builder.toString().trim().getBytes();         // 重新设置body体         event.setBody(newBody);         System.out.println("拼接后的body信息:" + builder.toString().trim());         return event;     }       public List<Event> intercept(List<Event> events) {         for (Event event : events) {             intercept(event);         }         return events;     }       /**      * 定义内部类MyBuilder，用于构建自定义拦截器类MyFlumeInterceptor的实例，      * 并获取Flume配置文件中自定义的拦截器属性值，将值传给自定义类MyFlumeInterceptor      */     public static class MyBuilder implements Builder {           private String hostIP = null;           public void configure(Context context) {             // 获取Flume配置文件中设置的自定义属性值，字符串“hostIP”需与配置文件中设置的属性hostIP一致             String hostIP = context.getString("hostIP");             this.hostIP = hostIP;         }           public Interceptor build() {             // 实例化自定义拦截器类并传入自定义属性             return new MyFlumeInterceptor(hostIP);         }     }       public void close() {     }       public void initialize() {     }   }

书籍:Hadoop大数据技术开发实战 12.6 拦 截 器

https://gitee.com/caoyeoo0/xc-springboot/blob/hadoopApi/src/main/java/com/xc/xcspringboot/test/MyFlumeInterceptor.java