如何实现对ELK各组件的监控？试试Metricbeat

mark

一、前言

开发排查系统问题用得最多的手段就是查看系统日志，ELK是Elastic公司开源的实时日志处理与分析解决方案，已经为日志处理方案的主流选择。

而在生产环境中，如何针对ELK进行监控，保证各个组件正常运行？如何知道目前的资源是否能承受线上的压力呢？本文主要是以Elastic Stack 7.x版本为例，介绍如何监控ELK自身的各个组件。

二、总体架构

常见的Elastic Stack日志系统架构如下

其中可使用Metricbeat组件作为轻量级监视代理，通过HTTP端点收集各个组件的监控信息，并把监控数据落盘到Elasticsearch中，最终通过Kibana以图形化的方式展示各种监控数据。

三、部署Metricbeat

建议在每台服务器上都运行Metricbeat收集指标，多个Metricbeat实例的指标将在Elasticsearch服务器上合并。

下载对应版本的Metricbeat地址如下：

https://www.elastic.co/cn/downloads/past-releases#metricbeat

3.1. 收集Elasticsearch信息

在Metricbeat中启用并配置Elasticsearch x-pack模块从安装目录中，运行：

./metricbeat modules enable elasticsearch-xpack

默认情况下，模块从http://localhost:9200收集Elasticsearch指标。如果本地服务器有不同的地址，请在modules.d/elasticsearch-xpack.yml中将其添加到主机设置。

3.2. 收集Kibana信息

在Metricbeat中启用并配置Kibana x-pack模块

./metricbeat modules enable kibana-xpack

该模块将默认从http://localhost:5601收集Kibana监测指标。如果本地Kibana实例有不同的地址，则必须通过modules.d/kibana-xpack.yml文件中的hosts设置进行指定。

3.3. 收集Logstash信息

在Metricbeat中启用并配置Logstash x-pack模块

./metricbeat modules enable logstash-xpack

该模块将默认从http://localhost:9600收集Logstash监测指标。如果本地Logstash实例有不同的地址，则必须通过modules.d/logstash-xpack.yml文件中hosts设置进行指定。

3.4. 收集Beats信息

所有类型的Beats配置都一样

3.4.1. 开启HTTP端点

需要开启Beats自己的HTTP端点输出监控数据，例如Filebeat修改filebeat.yml文件，在最后添加以下配置

http:
  enabled: true
  host: 0.0.0.0
  port: 5066

3.4.2. 启用Beat模块

在Metricbeat中启用并配置Beat x-pack模块

./metricbeat modules enable beat-xpack

该模块将默认从http://localhost:5066收集beat监测指标。如果正在监测的beat实例有不同的地址，则必须通过modules.d/beat-xpack.yml文件中的hosts设置进行指定。

3.5. 数据输出配置

配置Metricbeat以发送至监测集群，在metricbeat.yml文件中修改以下内容

output.elasticsearch:
  hosts: ["http://localhost:9200"] ## Monitoring cluster

  # Optional protocol and basic auth credentials.
  #protocol: "https"
  #username: "elastic"
  #password: "changeme"

PS：地址、用户名和密码按实际情况修改

3.6. 启动Metricbeat

./metricbeat -e

四、收集Elasticsearch日志

使用Filebeat收集Elasticsearch自身的日志数据。

首先需要在Elasticsearch所在的服务器中安装Filebeat组件。

4.1. 启用es模块

在Filebeat中启用并配置Elasticsearch模块，执行以下命令

./filebeat modules enable elasticsearch

4.2. 配置es模块

修改es模块的配置信息，指定日志路径

vim modules.d/elasticsearch.yml

修改为以下内容

- module: elasticsearch
  server:
    enabled: true
    var.paths:
      - /app/elk/elasticsearch/logs/*_server.json

  gc:
    enabled: true
    var.paths:
      - /app/elk/elasticsearch/logs/gc.log.[0-9]*
      - /app/elk/elasticsearch/logs/gc.log

  audit:
    enabled: true
    var.paths:
      - /app/elk/elasticsearch/logs/*_audit.json

  slowlog:
    enabled: true
    var.paths:
      - /app/elk/elasticsearch/logs/*_index_search_slowlog.json
      - /app/elk/elasticsearch/logs/*_index_indexing_slowlog.json

  deprecation:
    enabled: true
    var.paths:
      - /app/elk/elasticsearch/logs/*_deprecation.json

PS：日志路径按实际情况修改

4.3. 配置输出

修改filebeat.yml文件，配置es相关信息

output.elasticsearch:
  hosts: ["localhost:9200"]

  # Optional protocol and basic auth credentials.
  #protocol: "https"
  #username: "elastic"
  #password: "changeme"