1-Elasticsearch - filebeat modules

目录

• about
• configure

• 返回Elasticsearch目录

about

https://www.elastic.co/guide/en/beats/filebeat/6.8/filebeat-modules.html
https://www.elastic.co/guide/en/beats/filebeat/6.8/configuration-filebeat-modules.html

简单来说，filebeat modules模块提供了相关模板，这些模板包含收集、解析、充实和可视化各种日志文件格式数据所需的配置。意味着，我们不用自己处理日志信息了，如之前我们手动的将nginx日志更改为json类型，然后方便kibana中分析和展示，现在只需要打开filebeat modules中的nginx模板，然后做些简单的配置，就能将ngin日志处理成我们想要的样子。
真是有了filebeat modules，妈妈再也不用担心我收集不好日志了。
注意，filetbeat的modules模块的开启需要elasticsearch5.2或更高的版本。

configure

https://www.elastic.co/guide/en/beats/filebeat/6.8/filebeat-module-nginx.html

这里演示通过filebeat modules来配置收集ngin日志。
说明

• nginx这边还是正常的产生文本类型的日志即可。
• elasticsearch正常运行。
• kibana正常运行。

filebeat配置

1. filebeat配置文件配置：

[root@cs ~]# vim /etc/filebeat/filebeat.yml
[root@cs ~]# egrep -v "#|^$" /etc/filebeat/filebeat.yml
filebeat.inputs:
output.elasticsearch:
   hosts: ["10.0.0.200:9200"]
setup.kibana:
  host: "10.0.0.200:5601"
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
  reload.period: 10s

2. 激活/关闭指定模块，这里肯定是激活：

filebeat modules enable nginx
filebeat modules disable nginx

[root@cs ~]# filebeat modules enable nginx
Enabled nginx
[root@cs ~]# filebeat modules list
Enabled:
nginx

# 其他的命令，使用help查看
[root@cs ~]# filebeat modules help

3. filebeat modules关于nginx模板的配置：

[root@cs ~]# vim /etc/filebeat/modules.d/nginx.yml 
[root@cs ~]# egrep -v "#|^$" /etc/filebeat/modules.d/nginx.yml 
- module: nginx
  access:
    enabled: true
    # 这里按理说应该写上 /var/log/nginx/access.log，但我这里准备了一些真实的nginx日志，就用了这个临时的路径，作为演示
    var.paths: ["/tmp/nginx50000.log"]
  error:
    enabled: true
    var.paths: ["/var/log/nginx/error.log"]

4. 初始化该模板，为了保险，你也可以重启filebeat：

[root@cs ~]# filebeat setup -e
[root@cs ~]# systemctl restart filebeat

5. kibana添加索引模式。

接下来，discover栏就可以看到了：

在Visualize栏：

dashboard栏也有很多，下图是我整理后的：