filebeat自定义索引名,filebeat索引模板

 


【1】filebeat 默认生成到 es 的索引

如果我们不配置则默认会生成 ,如下类格式的索引,且如果检测到有的话,会默认一直使用这个日期

filebeat-7.14.1-2021.09.24-000001

【2】自定义索引

(2.1)fileds

vim filebeat.yml

复制代码
# ============================== Filebeat inputs ===============================
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log
  fields:
    source: sys
- type: log
  enabled: true
  paths:
    - /data/dba/q1.txt
  fields:
    source: q1
- type: log
  enabled: true
  paths:
    - /data/dba/t1.txt
  fields:
    source: t1
# ============================== Filebeat modules ==============================
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
setup.template.settings:
  index.number_of_shards: 1
setup.template.name: "system"
setup.template.pattern: "system-*"
setup.template.enabled: true
setup.template.overwrite: true
setup.ilm.enabled: false
# =================================== Kibana ===================================
setup.kibana:
  host: "192.168.175.132:5601"
# ---------------------------- Elasticsearch Output ----------------------------
output.elasticsearch:
  hosts: ["192.168.175.132:9200"]
  index: "system-%{[fields.source]}-*"
  indices:
    - index: "system-sys-%{+yyyy.MM.dd}"
      when.equals:
        fields:
          source: "sys"
    - index: "system-q1-%{+yyyy.MM.dd}"
      when.equals:
        fields:
          source: "q1"
    - index: "system-t1-%{+yyyy.MM.dd}"
      when.equals:
        fields:
          source: "t1"
# ------------------------- Processors ----------------------------------
processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~
复制代码
when.contains: 包含
when.equals: 等于

相关模板字段意义:

setup.template.name: “nginx” //设置一个新的模板,模板的名称
setup.template.pattern: “nginx-*” //模板匹配那些索引,这里表示以nginx开头的所有的索引
setup.template.enabled: false //关掉默认的模板配置
setup.template.overwrite: true //开启新设置的模板

复制代码
# ======================= Elasticsearch template setting =======================

setup.template.settings:
  index.number_of_shards: 1
  #index.codec: best_compression
  #_source.enabled: false

# 允许自动生成index模板
setup.template.enabled: true
# # 生成index模板时字段配置文件
setup.template.fields: fields.yml
# # 如果存在模块则覆盖
setup.template.overwrite: true
# # 生成index模板的名称
setup.template.name: "zheng_log" 
# # 生成index模板匹配的index格式       
setup.template.pattern: "zheng-*" 
setup.ilm.enabled: auto
# 这里一定要注意 会在alias后面自动添加-*
setup.ilm.rollover_alias: "park-ssm"
setup.ilm.pattern: "{now/d}"
# # 生成kibana中的index pattern,便于检索日志
#setup.dashboards.index: myfilebeat-7.0.0-*
#filebeat默认值为auto,创建的elasticsearch索引生命周期为50GB+30天。如果不改,可以不用设置
setup.ilm.enabled: false
复制代码

生成的索引:

  

(2.2)同理 tags

你也可以加入一些tags:

这里只简单写一个 tags的相关用法方便分组

具体用它来构造不同索引 参考:

  elk7.7.1【系列四】filebeat多输入,自定义不同输出索引

复制代码
#=========================== Filebeat inputs =============================
 
filebeat.inputs:

- type: log
  enabled: true
  paths:
    - /root/apache-tomcat-8.5.16/logs/*.txt
  tags: ["tomcat1"]
 
- type: log
  enabled: true
  paths:
    - /root/apache-tomcat-7.0.92/logs/*.txt
# ============== output ==========
output.elasticsearch:
  hosts: ["192.168.81.129:9200"]
  indices:
    - index: "tomcat1-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "tomcat1"
    - index: "tomcat2-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "tomcat2"
复制代码
 when.contains: 包含

多个可如下面:

这样可以多个tags,在匹配 when.contains 时,可以用包含其中一个 tag 值即可匹配到

复制代码
filebeat.inputs:
- type: log
  enabled: true
  fields:
    apache: true
  tags: ["my-service", "hardware", "test"]
  paths:
    - /Users/liuxg/data/apache-daily-access.log
 
output.elasticsearch:
  hosts: ["localhost:9200"]
复制代码

 

 (如果失败)关注点

(1)setup.template 等字样是否顶格

(2)setup.template.enabled: true   一定要为 true 否则可能不生效

(3)setup.ilm.enabled: false   该参数也要有

【3】配置filebeat 引用模板后模板数据使用自定义索引名(mysql为例)

(3.1)关键查询区分字段

假设我们已经用默认配置,启动,采集了mysql日志数据;查看实际内容

    

(3.2)在 filebeat.yml中,output 到 es 的配置里

复制代码
output.elasticsearch:
  hosts: ["192.168.175.132:9200"]
  index: "system-%{[fields.source]}-*"
  indices:
    - index: "system-sys-%{+yyyy.MM.dd}"
      when.equals:
        fields:
          source: "sys"
    - index: "system-q1-%{+yyyy.MM.dd}"
      when.equals:
        fields:
          source: "q1"
    - index: "system-t1-%{+yyyy.MM.dd}"
      when.equals:
        fields:
          source: "t1"
    - index: "system-mysqlerrorlog-%{+yyyy.MM.dd}"
      when.equals:
        fileset.name: "error"
    - index: "system-mysqlslowlog-%{+yyyy.MM.dd}"
      when.equals:
        fileset.name: "slowlog"

# 也可以用下面这种方式 #
- index: "mysql-error-%{+yyyy.MM.dd}" # when.contains: # fileset.name: "error" # - index: "mysql-slowlog-%{+yyyy.MM.dd}" # when.contains: # fileset.name: "slowlog"
复制代码

 

然后启动filebeat,  ./filebeat -e run,如下图,没有error 字样就OK了

   

(3.3)结果核验

  

成功

 

【参考文档】

与本文不同的办法:elk7.7.1【系列四】filebeat多输入,自定义不同输出索引

与本文相同的办法:https://blog.csdn.net/junxuezheng/article/details/108351039

【3】中给模板中的数据自动以索引:https://blog.csdn.net/weixin_44953658/article/details/118539743

参考:Filebeat自定义索引 && 多output过滤

官网:https://www.elastic.co/guide/en/beats/winlogbeat/current/elasticsearch-output.html

posted @   郭大侠1  阅读(7110)  评论(1编辑  收藏  举报
编辑推荐:
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
阅读排行:
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
历史上的今天:
2019-10-09 【转】数据库的分库分表基本思想
2019-10-09 【转】redis学习系列,redis分类
点击右上角即可分享
微信分享提示