1-12日报

Source 组件 -Taildir source

监听一个文件夹或者文件，通过正则表达式匹配需要监听的 数据源文件，Taildir Source通过将监听的文件位置写入到文件中来实现断点续传，并且能够保证没有重复数据的读取.

• 重要参数
  
  type：source类型TAILDIR
  
  positionFile：保存监听文件读取位置的文件路径
  
  idleTimeout：关闭空闲文件延迟时间，如果有新的记录添加到已关闭的空闲文件
  
  taildir srouce将继续打开该空闲文件，默认值120000毫秒
  
  writePosInterval：向保存读取位置文件中写入读取文件位置的时间间隔，默认值
  3000毫秒
  
  batchSize：批量写入channel最大event数，默认值100
  
  maxBackoffSleep：每次最后一次尝试没有获取到监听文件最新数据的最大延迟时 间，默认值5000毫秒
  
  cachePatternMatching：对于监听的文件夹下通过正则表达式匹配的文件可能数量 会很多，将匹配成功的监听文件列表和读取文件列表的顺序都添加到缓存中，可以提高性能，默认值true
  
  fileHeader ：是否添加文件的绝对路径到event的header中，默认值false
  
  fileHeaderKey：添加到event header中文件绝对路径的键值，默认值file
  
  filegroups：监听的文件组列表，taildirsource通过文件组监听多个目录或文件
  
  filegroups.<filegroupName>：文件正则表达式路径或者监听指定文件路径
  channels：Source对接的Channel名称