Metricbeat入门简介
一、什么是Metricbeat？
- 轻量型指标采集器
- 用于从系统和服务收集指标。Metricbeat能够以一种轻量型的方式，输送各种系统和服务统计数据，从CPU 到内存，从Redis到Nginx，不一而足。
- 定期收集操作系统或应用服务的指标数据
- 存储到Elasticsearch中，进行实时分析
二、Metricbeat组成
Metricbeat有2部分组成，一部分是Module，另一个部分为Metricset
- Module
- 收集的对象：如 MySQL、Redis、Nginx、操作系统等
- Metricset
- 收集指标的集合：如 cpu、memory，network等
以Redis Module为例：
redis安装：
参考：https://www.cnblogs.com/hsyw/p/13254117.html
三、部署Metricbeat与收集指标
3.1、下载
[root@node1 app]# wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.5.4-linux-x86_64.tar.gz
3.2、安装
[root@node1 app]# tar -zxvf metricbeat-6.5.4-linux-x86_64.tar.gz
[root@node1 app]# mv metricbeat-6.5.4-linux-x86_64 metricbeat
3.3、更改配置文件
[root@node1 app]# cd metricbeat
[root@node1 metricbeat]# vim metricbeat.yml
# 第94行，改为ES集群的IP地址们
hosts: ["192.168.1.111","192.168.1.112","192.168.1.113"]ES集群的IP地址们
PS: 默认会指定的模块配置文件，在${path.config}/modules.d/*.yml ---cd modules.d/
3.4、启动
[root@node1 metricbeat]# ./metricbeat -e
3.5、页面查看
可以看到多一个metricbeat-6.5.4-2020.12.06库
3.6、system module配置
- module: system
period: 10s # 采集的频率，每10秒采集一次
metricsets: # 采集的内容
- cpu
- load
- memory
- network
- process
- process_summary
四、Metricbeat Module
4.1、查看有那些Module
#查看列表
[root@node1 metricbeat]# ./metricbeat modules list
Enabled: #默认开启的只有system
system
Disabled:
aerospike
apache
ceph
couchbase
docker
dropwizard
elasticsearch
envoyproxy
etcd
golang
graphite
haproxy
http
jolokia
kafka
kibana
kubernetes
kvm
logstash
memcached
mongodb
munin
mysql
nginx
php_fpm
postgresql
prometheus
rabbitmq
redis
traefik
uwsgi
vsphere
windows
zookeeper
4.2、开启Nginx Module
在nginx中，需要开启状态查询，才能查询到指标数据。
[root@node1 nginx-1.10.1]# ./configure --prefix=/usr/local/nginx --with-http_stub_status_module
[root@node1 nginx-1.10.1]# make && make install
# nginx 安装路径
[root@node1 nginx]# pwd
/usr/local/nginx
# 查看版本、模块信息
[root@node1 sbin]# ./nginx -V
nginx version: nginx/1.10.1
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC)
configure arguments: --prefix=/usr/local/nginx --with-http_stub_status_module
#配置nginx、location可存在多个，找到location放在它上方即可（server模块里面）
[root@node1 nginx]# vim conf/nginx.conf
location /nginx-status {
stub_status on;
access_log off;
}
# 重启nginx
[root@node1 nginx]# sbin/nginx -s reload
# 页面访问
http://192.168.1.129/nginx-status
# 显示
Active connections: 2
server accepts handled requests
5 5 16
Reading: 0 Writing: 1 Waiting: 1
# 显示结果说明：
- Active connections：正在处理的活动连接数
- server accepts handled requests
- 第一个 server 表示Nginx启动到现在共处理了9个连接
- 第二个 accepts 表示Nginx启动到现在共成功创建 9 次握手
- 第三个 handled requests 表示总共处理了 21 次请求
- 请求丢失数 = 握手数 - 连接数 ，可以看出目前为止没有丢失请求
- Reading: 0 Writing: 1 Waiting: 1
- Reading：Nginx 读取到客户端的 Header 信息数
- Writing：Nginx 返回给客户端 Header 信息数
- Waiting：Nginx 已经处理完正在等候下一次请求指令的驻留链接（开启keep-alive的情况下，这个值等于
Active - (Reading+Writing)）
4.3、配置metricbeat的nginx module
#启用nginx module
[root@node1 metricbeat]# ./metricbeat modules enable nginx
Enabled nginx
#修改redis module配置
[root@node1 metricbeat]# vim modules.d/nginx.yml
- module: nginx
#metricsets:
# - stubstatus
period: 10s # 10秒采集一次
# Nginx hosts
hosts: ["http://192.168.1.129"] # nginx服务器IP地址
# Path to server status. Default server-status
server_status_path: "nginx-status" # 刚刚配置的名称
#username: "user"
#password: "secret"
4.4、启动
[root@node1 metricbeat]# ./metricbeat -e
