me小怪兽

导航

Linux部署Prometheus+Alertmanager并配置企业微信告警

一、Prometheus告警简介

告警能力在Prometheus的架构中被划分成两个独立的部分。如下所示，通过在Prometheus中定义AlertRule（告警规则），Prometheus会周期性的对告警规则进行计算，如果满足告警触发条件就会向Alertmanager发送告警信息。

Linux部署Prometheus+Alertmanager并配置企业微信告警

在Prometheus中一条告警规则主要由以下几部分组成：

告警名称：用户需要为告警规则命名，当然对于命名而言，需要能够直接表达出该告警的主要内容

告警规则：告警规则实际上主要由PromQL进行定义，其实际意义是当表达式（PromQL）查询结果持续多长时间（During）后出发告警

在Prometheus中，还可以通过Group（告警组）对一组相关的告警进行统一定义。当然这些定义都是通过YAML文件来统一管理的。

Alertmanager作为一个独立的组件，负责接收并处理来自Prometheus Server(也可以是其它的客户端程序)的告警信息。Alertmanager可以对这些告警信息进行进一步的处理，比如当接收到大量重复告警时能够消除重复的告警信息，同时对告警信息进行分组并且路由到正确的通知方，Prometheus内置了对邮件，Slack等多种通知方式的支持，同时还支持与Webhook的集成，以支持更多定制化的场景。

例如，目前Alertmanager还不支持钉钉，那用户完全可以通过Webhook与钉钉机器人进行集成，从而通过钉钉接收告警信息。同时AlertManager还提供了静默和告警抑制机制来对告警通知行为进行优化。

二、Alertmanager特性

告警能力在Prometheus的架构中被划分成两个独立的部分。如下所示，通过在Prometheus中定义AlertRule（告警规则），Prometheus会周期性的对告警规则进行计算，如果满足告警触发条件就会向Alertmanager发送告警信息。

Linux部署Prometheus+Alertmanager并配置企业微信告警

1、分组

分组机制可以将详细的告警信息合并成一个通知。在某些情况下，比如由于系统宕机导致大量的告警被同时触发，在这种情况下分组机制可以将这些被触发的告警合并为一个告警通知，避免一次性接受大量的告警通知，而无法对问题进行快速定位。

例如，当集群中有数百个正在运行的服务实例，并且为每一个实例设置了告警规则。假如此时发生了网络故障，可能导致大量的服务实例无法连接到数据库，结果就会有数百个告警被发送到Alertmanager。

而作为用户，可能只希望能够在一个通知中中就能查看哪些服务实例收到影响。这时可以按照服务所在集群或者告警名称对告警进行分组，而将这些告警内聚在一起成为一个通知。

告警分组，告警时间，以及告警的接受方式可以通过Alertmanager的配置文件进行配置。

2、抑制

抑制是指当某一告警发出后，可以停止重复发送由此告警引发的其它告警的机制。

例如，当集群不可访问时触发了一次告警，通过配置Alertmanager可以忽略与该集群有关的其它所有告警。这样可以避免接收到大量与实际问题无关的告警通知。

抑制机制同样通过Alertmanager的配置文件进行设置。

3、静默

静默提供了一个简单的机制可以快速根据标签对告警进行静默处理。如果接收到的告警符合静默的配置，Alertmanager则不会发送告警通知。

静默设置需要在Alertmanager的Werb页面上进行设置。

Prometheus本身不支持告警功能，主要通过插件alertmanage来实现告警。AlertManager用于接收Prometheus发送的告警并对于告警进行一系列的处理后发送给指定的用户。

Prometheus触发一条告警的过程：

prometheus--->触发阈值--->超出持续时间--->alertmanager--->分组|抑制|静默--->媒体类型--->邮件|钉钉|微信等。

Linux部署Prometheus+Alertmanager并配置企业微信告警

三、实现企业微信告警

1、创建企业微信应用

1）访问企业微信官网（https://work.weixin.qq.com/），注册企业微信账号(不需要企业认证)。

2）登录企业微信后台

操作步骤：应用管理 ---> 创建第三方应用，点击创建应用按钮 -> 填写应用信息

Linux部署Prometheus+Alertmanager并配置企业微信告警

3）填写应用信息

Linux部署Prometheus+Alertmanager并配置企业微信告警

# 部门ID：to_party需要发送的组

Linux部署Prometheus+Alertmanager并配置企业微信告警

2、安装Node_Exporter

1）下载安装包

[root@localhost dingtalk]# cd ~ && wget https://github.com/prometheus/node_exporter/releases/download/v1.5.0/node_exporter-1.5.0.linux-amd64.tar.gz

2）解压

[root@localhost ~]# tar xf node_exporter-1.5.0.linux-amd64.tar.gz

3）重命名

[root@localhost ~]# mv node_exporter-1.5.0.linux-amd64 /usr/local/node_exporter

4）配置系统服务

[root@localhost ~]# vim /usr/lib/systemd/system/node_exporter.service

 
  1. [Unit]
  2. Description=node_exporter
  3. Documentation=https://prometheus.io/
  4. After=network.target
  6. [Service]
  7. Type=simple
  8. User=root
  9. ExecStart=/usr/local/node_exporter/node_exporter
  10. Restart=on-failure
  12. [Install]
  13. WantedBy=multi-user.target

5）启动Node_Exporter

[root@localhost ~]# systemctl daemon-reload

[root@localhost ~]# systemctl enable node_exporter

[root@localhost ~]# systemctl start node_exporter

3、安装Prometheus

1）下载软件包

[root@localhost ~]# wget https://github.com/prometheus/prometheus/releases/download/v2.37.6/prometheus-2.37.6.linux-amd64.tar.gz

2）解压

[root@localhost ~]# tar xf prometheus-2.37.6.linux-amd64.tar.gz

3）重命名

[root@localhost ~]# mv prometheus-2.37.6.linux-amd64 /usr/local/prometheus

4）配置Prometheus

[root@localhost ~]# vim /usr/local/prometheus/prometheus.yml

 
  1. global:
  2. alerting:
  3. alertmanagers:
  4. - static_configs:
  5. - targets:
  6. - '192.168.11.199:9093'
  7. rule_files:
  8. - 'rules/node.yml'
  9. scrape_configs:
  10. - job_name: "node-exporter"
  11. static_configs:
  12. - targets:
  13. - "192.168.11.199:9100"

5）配置告警规则

[root@localhost ~]# mkdir /usr/local/prometheus/rules

[root@localhost ~]# vim /usr/local/prometheus/rules/node.yml

 
  1. groups:
  2. - name: Node Resource Monitoring
  3. rules:
  4. - alert: Node实例已宕机
  5. expr: up{instance =~ ".*:9100"} == 0
  6. for: 30s
  7. labels:
  8. user: root
  9. severity: Emergency
  10. annotations:
  11. summary: "{{ $labels.instance }} 客户端已停止运行,请尽快处理!"
  12. description: "Node_Exporter客户端已停止运行,当前状态：{{ $value }} "

6）创建启动文件

[root@localhost ~]# vim /usr/lib/systemd/system/prometheus.service

 
  1. [Unit]
  2. Description=prometheus
  3. Documentation=https://prometheus.io/docs/introduction/overview
  4. Wants=network-online.target
  5. After=network.target
  7. [Service]
  8. Type=simple
  9. User=root
  10. ExecStart=/usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml --web.enable-lifecycle
  11. ExecReload=/bin/kill -HUP $MAINPID
  12. ExecStop=/bin/kill -s SIGTERM $MAINPID
  13. Restart=on-failure
  15. [Install]
  16. WantedBy=multi-user.target

7）启动Prometheus

[root@localhost ~]# systemctl daemon-reload

[root@localhost ~]# systemctl start prometheus

[root@localhost ~]# systemctl enable prometheus.service

4、安装Alertmanager

1）下载Alertmanager

[root@localhost ~]# wget https://github.com/prometheus/alertmanager/releases/download/v0.25.0/alertmanager-0.25.0.linux-amd64.tar.gz

2）解压

[root@localhost ~]# tar xf alertmanager-0.25.0.linux-amd64.tar.gz

3）重命名

[root@localhost ~]# mv alertmanager-0.25.0.linux-amd64 /usr/local/alertmanager

4）创建启动文件

[root@localhost ~]# vim /usr/lib/systemd/system/alertmanager.service

 
  1. [Unit]
  2. Description=alertmanager
  3. Documentation=https://github.com/prometheus/alertmanager
  4. After=network.target
  6. [Service]
  7. Type=simple
  8. User=root
  9. ExecStart=/usr/local/alertmanager/alertmanager --config.file=/usr/local/alertmanager/alertmanager.yml
  10. Restart=on-failure
  12. [Install]
  13. WantedBy=multi-user.target

5）配置alertmanager.yml文件

# Alertmanager安装目录下默认有alertmanager.yml配置文件，可以创建新的配置文件，在启动时指定即可。

[root@localhost ~]# vim /usr/local/alertmanager/alertmanager.yml

 
  1. global:
  2. # 每5分钟检查一次是否恢复
  3. resolve_timeout: 5m
  4. # 自定义通知模板
  5. templates:
  6. - '/usr/local/alertmanager/template/wechat.tmpl'
  7. # route用来设置报警的分发策略
  8. route:
  9. # 采用哪个标签来作为分组依据
  10. group_by: ['alertname']
  11. # 组告警等待时间。也就是告警产生后等待10s，如果有同组告警一起发出
  12. group_wait: 10s
  13. # 两组告警的间隔时间
  14. group_interval: 10s
  15. # 重复告警的间隔时间，减少相同邮件的发送频率
  16. repeat_interval: 1h
  17. # 设置默认接收人
  18. receiver: 'wechat'
  19. routes: # 可以指定哪些组接手哪些消息
  20. - receiver: 'wechat'
  21. continue: true
  22. group_wait: 10s
  23. receivers:
  24. - name: 'wechat'
  25. wechat_configs:
  26. - corp_id: 'xxx'
  27. to_party: 'xxx'
  28. agent_id: 'xxx'
  29. api_secret: 'xxx'
  30. send_resolved: true

参数说明：

corp_id: 企业微信账号唯一ID，可以在我的企业中查看。

to_party: 需要发送的组。

agent_id: 自建企业应用的AgentId，可以在企业应用里创建的自建应用详情页面查看。

api_secret: 自建企业应用的Secret，可以在企业应用里创建的自建应用详情页面查看。

6）配置告警模板

[root@localhost ~]# mkdir -p /usr/local/alertmanager/template

[root@localhost ~]# vim /usr/local/alertmanager/template/wechat.tmpl

 
  1. {{ define "wechat.default.message" }}
  2. {{- if gt (len .Alerts.Firing) 0 -}}
  3. {{- range $index, $alert := .Alerts -}}
  4. {{- if eq $index 0 }}
  5. 告警程序：Prometheus_Alertmanager
  6. 告警状态：{{ .Status }}
  7. 告警级别：{{ $alert.Labels.severity }}
  8. 告警类型：{{ $alert.Labels.alertname }}
  9. 故障主机：{{ $alert.Labels.instance }}
  10. 告警详情：{{ $alert.Annotations.description }}
  11. 触发时间：{{ (.StartsAt.Add 28800e9).Format "2006-01-02 15:04:05" }}
  12. {{- end }}
  13. {{- end }}
  14. {{- end }}
  16. {{- if gt (len .Alerts.Resolved) 0 -}}
  17. {{- range $index, $alert := .Alerts -}}
  18. {{- if eq $index 0 }}
  19. 告警程序：Prometheus_Alertmanager
  20. 告警状态：{{ .Status }}
  21. 告警级别：{{ $alert.Labels.severity }}
  22. 告警类型：{{ $alert.Labels.alertname }}
  23. 故障主机：{{ $alert.Labels.instance }}
  24. 告警详情：{{ $alert.Annotations.description }}
  25. 触发时间：{{ (.StartsAt.Add 28800e9).Format "2006-01-02 15:04:05" }}
  26. 恢复时间：{{ (.EndsAt.Add 28800e9).Format "2006-01-02 15:04:05" }}
  27. {{- end }}
  28. {{- end }}
  29. {{- end }}
  30. {{- end }}

7）启动Alertmanager

[root@localhost ~]# systemctl daemon-reload

[root@localhost ~]# systemctl start alertmanager

[root@localhost ~]# systemctl enable alertmanager

5、验证企业微信告警

# 浏览器访问Prometheus管理界面可以看到如下信息：

Linux部署Prometheus+Alertmanager并配置企业微信告警

1）模拟停止node_exporter服务，触发企业微信告警

[root@localhost ~]# systemctl stop node_exporter

2）再次查看Prometheus界面的Alerts可以看到告警状态。

绿色表示正常。

黄色状态为PENDING表示Alerts还没有发送至Alertmanager，因为rules里面配置了for: 30s。

30秒后状态由PENDING变为FIRING，此时Prometheus才将告警发给alertmanager，在Alertmanager中可以看到有一个alert。

Linux部署Prometheus+Alertmanager并配置企业微信告警

3）查看Alertmanager

Linux部署Prometheus+Alertmanager并配置企业微信告警

4）查看企业微信告警信息

Linux部署Prometheus+Alertmanager并配置企业微信告警

5）启动node_exporter

[root@localhost ~]# systemctl start node_exporter

6）查看企业微信会收到恢复信息

Linux部署Prometheus+Alertmanager并配置企业微信告警

附：

CPU使用率告警规则：

 
  1. groups:
  2. - name: CPU
  3. rules:
  4. - alert: CPU使用率过高
  5. expr: (100 - (avg by (instance) (irate(node_cpu{mode="idle"}[5m])) * 100)) > 80
  6. for: 1m
  7. labels:
  8. severity: Warning
  9. annotations:
  10. summary: "{{ $labels.instance }} CPU使用率过高"
  11. description: "{{ $labels.instance }}: CPU使用率超过80%，当前使用率({{ $value }})."

内存使用率告警规则：

 
  1. groups:
  2. - name: Memory
  3. rules:
  4. - alert: 内存使用率过高
  5. expr: (node_memory_MemTotal - (node_memory_MemFree+node_memory_Buffers+node_memory_Cached )) / node_memory_MemTotal * 100 > 80
  6. for: 1m # 告警持续时间，超过这个时间才会发送给alertmanager
  7. labels:
  8. severity: Warning
  9. annotations:
  10. summary: "{{ $labels.instance }} 内存使用率过高"
  11. description: "{{ $labels.instance }}：内存使用率超过80%，当前使用率({{ $value }})."

 

posted on 2023-05-09 20:07  me小怪兽  阅读(2249)  评论(0)  编辑  收藏  举报