Flume自定义拦截器，重启后不能继续处理的问题

1、背景

flume版本：1.8，有一个自定义拦截器Interceptor把json数据，转化为|分隔的数据，便于hive加载。

使用File Channel，重启后，不能继续处理数据。

2、原因分析

查看日志，一直报json转换异常，转换的内容是 |分隔的，猜测内容应该是经过拦截器处理以后的。

进一步分析，因为使用了File Channel，重启后，会从检查点Checkpoint取出数据继续处理，检查点Checkpoint已经是|分隔的了。

自定义拦截器Interceptor(把json数据，转化为|分隔的数据)继续把|分隔的数据转化为json就会抛出异常，flume检查到异常，会重试，然后就一直循环在处理这条数据，死循环了。

3、解决方案

自定义拦截器Interceptor 增加判断，如果多余3个|，就不执行json转换，当作正常数据

4、思考

a.错误日志监控很重要

b.flume在这种情况下，能告警就更好了

c.扩展功能，最好看看文档或最佳实践