ELK~fluentd将日志文件增量读到es里

之前的文章说过通过sidecar实现fluentd插件在容器上的挂载,直接将容器某个目录的log文件收集到es里,(相关文章:https://www.cnblogs.com/lori/p/12559323.html)在这里就不在重复说了,今天主要说一下关于fluentd.config的配置,就是在k8s里的configmap文件。

<source>
  type tail
  format json
  path /home/apps/logs/*.log #日志文件
  pos_file /home/apps/logs/*.log.pos #偏移
  tag lind #标签,对于 match.logstash_prefix,最后在kinaba的索引配置里体现
</source>
<match lind>
  @id elasticsearch
  @type elasticsearch
  @log_level INFO
  type_name _doc #只接受_doc
  host elasticsearch.elk
  port 9200
  include_tag_key true
  tag_key @log_name
  logstash_format true
  logstash_prefix fluentd-${tag}
  flush_interval 10s
</match>
posted @ 2020-08-19 09:06  张占岭  阅读(641)  评论(0编辑  收藏  举报