一 consul监控项
- Transaction timing
- Leadership changes
- Autopilot
- Garbage collection
二 consul服务监控
- File descriptors
- CPU usage
- Network activity
- Disk activity
- Memory usage
三 监控可用指标
官方地址：https://www.consul.io/docs/agent/telemetry
| 指标名称 |
描述 |
consul.kvs.apply |
测量完成 KV 存储更新所需的时间。 |
consul.txn.apply |
测量应用事务操作所花费的时间。 |
consul.raft.apply |
计算间隔内发生的 Raft 事务的数量。 |
consul.raft.commitTime |
测量将新条目提交到领导者上的 Raft 日志所需的时间。 |
consul.raft.leader.lastContact |
在检查其领导者租用时，测量自领导者最后一次能够联系跟随者节点以来的时间。 |
consul.raft.state.candidate |
当 Consul 服务器开始选举过程时增加。 |
consul.raft.state.leader |
当 Consul 服务器成为领导者时增加。 |
consul.autopilot.healthy |
跟踪本地服务器集群的整体健康状况。如果所有服务器都被自动驾驶仪认为是健康的，这将被设置为 1。如果有任何服务器不健康，这将是 0。 |
consul.autopilot.failure_tolerance |
跟踪本地服务器集群在继续运行时可能丢失的投票服务器数量。 |
consul.runtime.total_gc_pause_ns |
自 Consul 启动以来，stop-the-world 垃圾收集 (GC) 暂停消耗的纳秒数。 |
linux_sysctl_fs.file-nr |
主机上所有进程使用的文件句柄数。 |
linux_sysctl_fs.file-max |
可用文件句柄的总数。 |
cpu.user_cpu |
用户进程（例如 Vault 或 Consul）使用的 CPU 百分比。 |
cpu.iowait_cpu |
等待 I/O 任务完成所花费的 CPU 时间百分比。 |
net.bytes_recv |
每个网络接口上接收到的字节数。 |
net.bytes_sent |
每个网络接口上传输的字节数。 |
diskio.read_bytes |
从每个块设备读取的字节数。 |
diskio.write_bytes |
写入每个块设备的字节数。 |
diskio.read_time |
从磁盘读取所花费的时间，以累积毫秒为单位。 |
diskio.write_time |
写入磁盘所花费的时间，以累积毫秒为单位。 |
consul.runtime.alloc_bytes |
测量 Consul 进程分配的字节数。 |
consul.runtime.sys_bytes |
从操作系统获得的内存总字节数。 |
mem.total |
服务器上可用的物理内存 (RAM) 总量。 |
mem.used_percent |
正在使用的物理内存的百分比。 |
swap.used_percent |
正在使用的交换空间的百分比。 |
四 安装 consul exporter
4.1 下载并安装consul exporter
root@consul-01:~# wget https://github.com/prometheus/consul_exporter/releases/download/v0.7.1/consul_exporter-0.7.1.linux-amd64.tar.gz
root@consul-01:~# tar xf consul_exporter-0.7.1.linux-amd64 -C /usr/local
root@consul-01:~# ln -sv /usr/local/consul_exporter-0.7.1.linux-amd64 /usr/local/consul_exporter
4.2 consul exporter使用帮助
-h, --help #显示上下文相关的帮助（也可以尝试 --help-long 和 --help-man）。
--web.listen-address=":9107" #Address 侦听 Web 界面和遥测。
--web.telemetry-path="/metrics" #暴露指标的路径。
--consul.health-summary #为每个服务实例生成一个健康摘要。需要 n+1 个查询来收集所有信息。
--kv.prefix="" #Prefix 从中公开键/值对。
--kv.filter=".*" #Regex 确定要公开的键。
--consul.server="http://localhost:8500" #Consul 服务器或代理的HTTP API 地址。 （以 https:// 为前缀以通过 HTTPS 连接）
--consul.ca-file="" #用于验证服务器证书真实性的 PEM 编码证书颁发机构的文件路径。
--consul.cert-file="" #PEM 编码证书的文件路径，与私钥一起使用以验证出口商的真实性。
--consul.key-file="" #PEM 编码私钥的文件路径，与证书一起使用以验证出口商的真实性。
--consul.server-name="" #当提供时，这将覆盖 TLS 证书的主机名。它可用于确保证书名称与我们声明的主机名匹配。
--consul.timeout=500ms #Consul API 的 HTTP 请求超时。
--consul.insecure #禁用 TLS 主机验证。
--consul.request-limit=0 #限制consul的最大并发请求数，0表示没有限制。
--consul.allow_stale #允许任何 Consul 服务器（非领导者）为读取服务。
--consul.require_consistent #强制读取完全一致。
--log.level=info #仅记录具有给定严重性或更高级别的消息。其中之一：[调试、信息、警告、错误]
--log.format=logfmt #日志信息的输出格式。其中之一：[logfmt, json]
4.3 准备consul_exporter.service文件
root@consul-01:~# cat /lib/systemd/system/consul_exporter.service
[Unit]
Description=consul_exporter
Documentation=https://prometheus.io
After=network.target
[Service]
type=simple
ExecStart=/usr/local/consul_exporter/consul_exporter
ExecReload=/bin/kill -HUP $MAINPID
TimeoutStopSec=20s
Restart=always
[Install]
WantedBy=multi-user.target
4.4 设置开机启动
root@consul-01:~# systemctl enable consul_exporter
Created symlink /etc/systemd/system/multi-user.target.wants/consul_exporter.service → /lib/systemd/system/consul_exporter.service.
root@consul-01:~# systemctl start consul_exporter
root@consul-01:~# systemctl status consul_exporter
● consul_exporter.service - consul_exporter
Loaded: loaded (/lib/systemd/system/consul_exporter.service; enabled; vendor preset: enabled)
Active: active (running) since Thu 2021-11-25 19:57:00 CST; 3s ago
Docs: https://prometheus.io
Main PID: 23638 (consul_exporter)
Tasks: 4 (limit: 2245)
Memory: 1.5M
CGroup: /system.slice/consul_exporter.service
└─23638 /usr/local/consul_exporter/consul_exporter
Nov 25 19:57:00 consul-01 systemd[1]: Started consul_exporter.
Nov 25 19:57:00 consul-01 consul_exporter[23638]: level=info ts=2021-11-25T11:57:00.699Z caller=consul_exporter.go:486 msg="Starting consul_exporter" version="(version=0.7.1, branch=HEAD, revision=ae46e2ea980>
Nov 25 19:57:00 consul-01 consul_exporter[23638]: level=info ts=2021-11-25T11:57:00.699Z caller=consul_exporter.go:487 build_context="(go=go1.14.6, user=root@fdd571c00696, date=20200721-15:34:41)"
Nov 25 19:57:00 consul-01 consul_exporter[23638]: level=info ts=2021-11-25T11:57:00.700Z caller=consul_exporter.go:538 msg="Listening on address" address=:9107
4.5 验证consul exporter web界面
五 Prometheus添加consul exporter
5.1 修改Prometheus.yml文件
~# cat /usr/local/prometheus/prometheus.yml
- job_name: "consul-node"
static_configs:
- targets: ['192.168.174.103:9107']
5.2 重启Prometheus服务
~# systemctl restart prometheus.service
5.3 验证Prometheus web界面
