prometheus+alertmanager告警消息对接企业微信、飞书、钉钉
前言
很多公司都在使用prometheus作为监控，并使用alertmanager发送告警消息，然而有的公司内部通讯软件使用的是企业微信，或者是飞书，或者是钉钉，那么如何让监控告警消息发送到这些通讯软件呢。
本文主要通过讲解自己开发的工具alertmanager-webhook来实现该功能，该工具已经支持目前主流的通讯软件。同时本工具不仅仅支持接收alertmanager告警消息，也支持接收自研告警平台发送的消息，只需先将告警消息转换成类似alertmanager的json格式即可。
1. 实现思路
我们知道alertmanager支持直接对接webhook，所以我们只要将alertmanager的告警消息解析成企业微信、飞书、钉钉能够识别的消息，那么再通过官方的api接口就可以发送告警消息了。
alertmanager消息示例
"alerts": [
{
"status": "firing",
"labels": {
"alertname": "机器宕机监测",
"instance": "10.180.48.2",
"job": "node_exporter",
"serverity": "warning"
},
"annotations": {
"description": "机器:10.180.48.2 所属 job:node_exporter 宕机超过1分钟，请检查！",
"summary": "机器发生宕机"
},
"startsAt": "2023-10-11T11:59:09.775Z",
"endsAt": "0001-01-01T00:00:00Z",
"fingerprint": "02f13394997e5211"
}
]
这是一个常见alertmanager告警消息，可以看到是一个json的格式，其中labels和annotations里面的字段都是我们配置prometheus时设置的，其他字段是prometheus触发告警时自动生成的，那么我们只需要将这个json字符串解析为各个通讯软件能够识别的格式，就OK了。目前对接企业微信是使用的企业微信所支持的markdown格式，对接飞书是使用的飞书所支持的card格式，对接钉钉是使用的钉钉所支持的markdown格式。具体格式要求，可以到各平台的官网进行查看。
2. 工具使用
本文分别介绍使用二进制安装和使用docker安装，该工具依赖redis，所以需要提前安装好redis。
2.1 使用二进制部署
redis如何使用二进制安装，本文就不介绍了，直接介绍工具的安装。
下载地址：https://github.com/Rainbowhhy/alertmanager-webhook/releases/download/v1.0/alertmanager-webhook-v1.0-linux-amd64.tar.gz
2.1.1 下载二进制安装包并解压
wget https://github.com/Rainbowhhy/alertmanager-webhook/releases/download/v1.0/alertmanager-webhook-v1.0-linux-amd64.tar.gz
tar -xf alertmanager-webhook-v1.0-linux-amd64.tar.gz
cd alertmanager-webhook-v1.0-linux-amd64
2.1.2 目录结构
tree alertmanager-webhook-v1.0-linux-amd64
alertmanager-webhook-v1.0-linux-amd64
├── alertmanager-webhook
├── alertmanager-webhook.yaml
├── example
│ ├── default.tmpl
│ ├── dingding.tmpl
│ ├── feishu.tmpl
│ └── qywechat.tmpl
└── template
└── alert.tmpl
解压后的目录结构：
alertmanager-webhook：二进制启动命令
alertmanager-webhook.yaml：工具配置文件
example：模板目录，包含各个通讯工具的告警模板
template：告警目录，发送消息时实际使用的模板
2.1.3 修改配置文件
vim alertmanager-webhook.yaml
# 企业微信机器人key
# 使用企业微信时必须配置，不使用则留空
qywechatKey:
# 飞书机器人key
# 使用飞书时必须配置，不使用则留空
feishuKey:
# 钉钉机器人key
# 使用钉钉时必须配置，不使用则留
dingdingKey:
# Redis配置
redisServer: 127.0.0.1 # 必须配置
redisPort: # 可选项，为空默认为6379
redisPassword: wecloudsre@2023 # redis未设置密码则留空，如果设置了密码登陆则必须配置
# 日志配置
logFileDir: # 可选项，为空则为程序运行目录
logFilePath: alertmanager-webhook.log # 必须配置
# 服务监听配置
port: 9095 # 可选项，为空则默认为9095
host: 0.0.0.0 # 可选项，为空默认监听 127.0.0.1
大家需要使用什么通讯工具，就配置上对应机器人的key；reidsServer需要配置成redis服务器的ip地址，redisPassword配置成redis的登陆密码；其他配置保持默认即可。
2.1.4 配置模板
默认模板内容
cat template/alert.tmpl
{{- if eq .Status `firing` -}}
{{- /* 自定义触发告警时的内容格式 */ -}}
告警主题: {{.Annotations.summary}}
告警级别: {{.Labels.serverity}}
告警次数: {{.Count}}
告警主机: {{.Labels.instance}}
告警详情: {{.Annotations.description}}
触发时间: {{.StartTime}}
{{- else if eq .Status `resolved` -}}
{{- /* 自定义告警恢复时的内容格式 */ -}}
告警主题: {{.Annotations.summary}}
告警主机: {{.Labels.instance}}
开始时间: {{.StartTime}}
恢复时间: {{.EndTime}}
（1）.Annotations.summary、.Annotations.description 是prometheus中annotations的字段，.Labels.serverity、.Labels.instance是prometheus中labels的字段，可以根据实际的prometheus中所包含的字段来进行修改。
（2）.Count、.StartTime、.EndTime 是固定字段，名称不可修改，可以按照实际需求，需要就加上，不需要就删除。
（3）注意.Annotations和.Labels中配置的字段必须是实际在prometheus中存在的，如果不存在，接收到的告警消息可能不全或者是非意料之中的。
（4）example目录中包含了各个通讯平台的模板实例，实际使用时可以先拷贝到template中进行修改，注意拷贝到template时，文件名称不能变，必须是template/alert.tmpl
2.1.5 启动alertmanager-webhook
chmod +x alertmanager-webhook
./alertmanager-webhook -c alertmanager-webhook.yaml
2.1.6 配置alertmanager
工具启动后，还需要在alertmanager中配置webhook
# alertmanager.yml
......
receivers:
name: webhook
webhook_configs:
# 配置企业微信接口
- url: 'http://127.0.0.1:9095/qywechat'
# 配置飞书接口
- url: 'http://127.0.0.1:9095/feishu'
# 配置钉钉接口
- url: 'http://127.0.0.1:9095/dingding'
......
实际工作中需要使用哪个通讯工具，就配置哪个工具对应的webhook接口即可。
2.2 使用docker部署
2.2.1 修改配置
alertmanager-webhook.yaml配置、模板配置、alertmanager.yml配置同上面的二进制文件部署
2.2.2 docker启动
docker部署比较简单，两条命令即可。
docker run -d --name redis -v /root/redis.conf:/etc/redis/redis.conf -p 0.0.0.0:6379:6379 redis:5.0.0 redis-server /etc/redis/redis.conf
docker run -d --name alertmanager-webhook -p 0.0.0.0:9095:9095 -v /root/alertmanager-webhook.yaml:/etc/alertmanager-webhook/alertmanager-webhook.yaml rainbowhhy/alertmanager-webhook:v1.0
2.2.3 docker-compose启动
也可以使用docker-compose部署
vim docker-compose.yml
version: '3'
services:
redis:
image: redis:5.0.0
hostname: redis
restart: unless-stopped
container_name: redis
privileged: true
ports:
- 0.0.0.0:6379:6379
volumes:
- /data/redis/redis.conf:/etc/redis/redis.conf
- /data/redis/data:/data
command: ["redis-server", "/etc/redis/redis.conf"]
alertmanager-webhook:
image: alertmanager-webhook:v1.2
hostname: alertmanager-webhook
restart: unless-stopped
container_name: alertmanager-webhook
privileged: true
ports:
- 0.0.0.0:9095:9095
volumes:
- /data/alertmanager-webhook/alertmanager-webhook.yaml:/etc/alertmanager-webhook/alertmanager-webhook.yaml
command: ["./alertmanager-webhook", "-c", "/etc/alertmanager-webhook/alertmanager-webhook.yaml"]
3. 测试示例
我们可以使用curl命令来模拟alertmanager往alertmanager-webhook发送消息：
以发送至企业微信为例
触发告警
curl -X POST -H "Content-Type: application/json" -d '
{"alerts": [
{
"status": "firing",
"labels": {
"alertname": "机器宕机监测",
"instance": "10.180.48.2",
"job": "node_exporter",
"serverity": "warning"
},
"annotations": {
"description": "机器:10.180.48.2 所属 job:node_exporter 宕机超过1分钟，请检查！",
"summary": "机器发生宕机"
},
"startsAt": "2024-01-10T11:59:09.775Z",
"endsAt": "2024-01-10T13:00:00Z",
"fingerprint": "02f13394997e5211"
}
]
}' 127.0.0.1:9095/qywechat
告警恢复
curl -X POST -H "Content-Type: application/json" -d '
{"alerts": [
{
"status": "resolved",
"labels": {
"alertname": "机器宕机监测",
"instance": "10.180.48.2",
"job": "node_exporter",
"serverity": "warning"
},
"annotations": {
"description": "机器:10.180.48.2 所属 job:node_exporter 宕机超过1分钟，请检查！",
"summary": "机器发生宕机"
},
"startsAt": "2024-01-10T11:59:09.775Z",
"endsAt": "2024-01-10T13:00:00Z",
"fingerprint": "02f13394997e5211"
}
]
}' 127.0.0.1:9095/qywechat
4. 实现效果
alertmanager-webhook工具实现的告警效果
企业微信告警效果
飞书告警效果
钉钉告警效果
5. 源码分享
https://github.com/Rainbowhhy/alertmanager-webhook
本工具拿来即可用，欢迎大家提出优化建议。
