Flume拦截器、监控器

一、拦截器

1、拦截器：

　　拦截器主要作用在source和channel之间，用于给event设置header消息头，如果没有设置拦截器，则event中只有message。

 

常见的拦截器有：

Timestamp Interceptor 时间拦截器：将时间戳插入到header中。

Host Interceptor 主机拦截器：将服务器的ip地址或者主机名插入到header中。

Regex Filtering Interceptor 正则过滤拦截器：过滤掉不需要的日志。

https://blog.csdn.net/jinywum/article/details/82598947

 

2、自定义拦截器：

　　主要目的就是给日志进行分类，自定义拦截器为每个event设置header，header里标志着日志的类型。当数据传输到kafka就可以根据header知道这个日志属于哪个类型，从而通过消息的内容对日志进行路由。

自定义拦截器操作：

a、在项目pom文件中引入flume依赖

b、找到现有的TimestampInterceptor类，copy代码到自己的自定义类里，按照需求进行修改。

c、将项目打成jar包，修改名字为app_logs_flume.jar，然后放到/opt/module/flume/lib目录下。

d、在flume配置文件指定拦截器类型。

a1.sources.r1.interceptors = i1 

a1.sources.r1.interceptors.i1.type = 自定义类全类名

 

https://blog.csdn.net/u012443641/article/details/80757229

 

二、监控器

1、监控器

 监控器可以看到：

source尝试写入channel中的event数量，成功写入且提交的event数量；

sink尝试从channel中拉取的event数量，成功读取的事件数量；

channel相关信息，例如：启动时间，停止时间，目前的event总数，容量，占用百分比