flume断点续传（防止重复消费）的解决方案和flume 向hdfs sink写数据小文件过多问题

flume1.7一直都是自己修改源代码实现断点续传，1.7之后出现taildir source实现断点续传。

https://blog.csdn.net/Abysscarry/article/details/89420560

 

小文件过多的解决方案：

https://blog.csdn.net/qq_32502511/article/details/85048594

通过设置合理的参数

（1）hdfs.rollInterval 

(2)hdfs.rollSize

(3)hdfs.rollCount

(4)hdfs.roundValue

(5)hdfs.roundUnit