监控平台prometheus+grafana+snmp_explorer+blackbox_exporter+alertmanager
一、背景介绍
公司需要监控交换机和IP设备，能够放在展示屏幕，及时发出告警信息。网上有很多监控软件，prometheus系列已经能够满足我们需求。prometheus功能强大，本次只用到一部功能。咱们先把基本的部署安装好，后续各种参数，还需要继续去研究。唯一不好的是，需要配置很多命令，对初学者和非技术人员，存在一定门槛，但这也形成比较高的自由度。
二、部署环境
服务器：
12核32G
操作系统
CentOS Linux release 7.6
注意点
建议部署前，关闭系统防火墙，后期调试完毕，再添加放行端口。
三、结构图
Grafana作为展示界面，Prometheus作为核心，调用snmp_explorter和blackbox_explorter监控模块，使用Alertmanager作为报警模块，形成一个完整的结构。
四、部署步骤
1、prometheus核心
下载安装包
wget https://github.com/prometheus/prometheus/releases/download/v2.37.0/prometheus-2.37.0.linux-amd64.tar.gz
解压安装文件
tar -xf prometheus-2.37.0.linux-amd64.tar.gz
新建用户组
groupadd -r prometheus
新建用户加入组
useradd -r -g prometheus -d / -s /sbin/nologin -c "prometheus user" prometheus
创建目录
mkdir /etc/prometheus
mkdir /home/prometheus
迁移文件夹
cp prometheus-2.37.0.linux-amd64/prometheus /usr/local/bin/
迁移配置文件夹
cp prometheus-2.37.0.linux-amd64/prometheus.yml /etc/prometheus/
赋予权限
chown -R prometheus:prometheus /etc/prometheus
chown -R prometheus:prometheus /home/prometheus/
创建启动脚本
vi /usr/lib/systemd/system/prometheus.service
点击查看代码
[Unit]
Description=prometheus
After=network.target
[Service]
Type=simple
User=prometheus
ExecStart=/usr/local/bin/prometheus \
--config.file=/etc/prometheus/prometheus.yml \
--storage.tsdb.path=/home/prometheus \
--storage.tsdb.retention=15d \
--web.read-timeout=5m \
--web.max-connections=10 \
--query.max-concurrency=20 \
--query.timeout=2m \
--web.enable-lifecycle
Restart=on-failure
[Install]
WantedBy=multi-user.target
调试命令
systemctl enable prometheus
systemctl start prometheus
systemctl restart prometheus
systemctl status prometheus
检查服务是否启动
netstat -anlptu|grep :9090
tcp6 0 0 ::1:49954 ::1:9090 ESTABLISHED 16429/prometheus
验证
打开设备ip端口
http://192.168.0.212:9090
2、grafana模块
Grafana作为展示平台
下载安装
wget https://dl.grafana.com/enterprise/release/grafana-enterprise-9.0.6-1.x86_64.rpm
sudo yum install grafana-enterprise-9.0.6-1.x86_64.rpm
调试
sudo /sbin/chkconfig --add grafana-server
启动
sudo service grafana-server start
验证
打开设备ip端口，默认账号admin，密码admin
http://192.168.0.212:3000
3、snmp_explorer模块
snmp_explorer作为获取snmp参数的模块。
下载
wget https://github.com/prometheus/snmp_exporter/releases/download/v0.19.0/snmp_exporter-0.19.0.linux-amd64.tar.gz
解压
tar -xf snmp_exporter-0.19.0.linux-amd64.tar.gz
创建目录
mkdir /opt/snmp_exporter
复制
mv snmp_exporter-0.19.0.linux-amd64 /opt/snmp_exporter
设置开机启动
/etc/systemd/system/snmp_exporter.service
点击查看代码
[Unit]
Description=node_exporter
After=network.target
[Service]
ExecStart=/opt/snmp_exporter/snmp_exporter --config.file=/opt/snmp_exporter/snmp.yml
Restart=on-failure
[Install]
WantedBy=multi-user.target
验证
打开设备ip端口
http://192.168.0.212:9116
4、blackbox_exporter模块
blackbox_exporter作为获取ping模块，包含DNS/SSL证书/TCP/端口检测
下载
wget https://github.com/prometheus/blackbox_exporter/releases/download/v0.15.1/blackbox_exporter-0.15.1.linux-amd64.tar.gz
解压
tar xf blackbox_exporter-0.15.1.linux-amd64.tar.gz
新建目录
mkdir /opt/blackbox_exporter
复制
mv blackbox_exporter-0.15.1.linux-amd64 /opt/blackbox_exporter
设置开机启动
/etc/systemd/system/blackbox_exporter.service
点击查看代码
[Unit]
Description=node_exporter
After=network.target
[Service]
ExecStart=/opt/blackbox_exporter/blackbox_exporter-0.15.1.linux-amd64/blackbox_exporter --config.file=/opt/blackbox_exporter/blackbox_exporter-0.15.1.linux-amd64/blackbox.yml
Restart=on-failure
[Install]
WantedBy=multi-user.target
验证
打开设备ip端口
http://192.168.0.212:9115
5、alertmanager模块
alertmanager作为告警模块，邮件、钉钉企业微信都可以设置。
下载
wget https://github.com/prometheus/alertmanager/releases/download/v0.21.0/alertmanager-0.21.0.linux-amd64.tar.gz
解压
tar -xf alertmanager-0.21.0.linux-amd64.tar.gz
新建目录
mkdir /opt/alertmanager
复制
mv alertmanager-0.21.0.linux-amd64 /opt/alertmanager
设置开机启动
/etc/systemd/system/alertmanager.service
点击查看代码
[Unit]
Description=node_exporter
After=network.target
[Service]
ExecStart=/opt/alertmanager/alertmanager --config.file=/opt/alertmanager/alertmanager.yml \
--storage.path=/opt/alertmanager/data \
--data.retention=24h --web.listen-address=0.0.0.0:9093 \
--cluster.listen-address=0.0.0.0:9094 \
--cluster.advertise-address=0.0.0.0:9094
Restart=on-failure
[Install]
WantedBy=multi-user.target
验证
这个功能需要调试了参数，才能验证效果
五、效果测试
以上作为安装和验证单一功能的调试，属于基础版本，调试核心的配置，把各自的功能关联起来。
常用命令与路径
| 平台 | 常用命令 | 用途 |
|---|---|---|
| prometheus | /etc/prometheus/prometheus.yml | 配置文件 |
| curl -X POST http://127.0.0.1:9090/-/reload | 热重启 | |
| systemctl restart prometheus | 重启 | |
| systemctl status prometheus | 状态 | |
| netstat -ntlp | 查看服务状态 | |
| snmp_exporter | /opt/snmp_exporter/snmp.yml | 配置文件 |
| systemctl restart snmp_exporter | 重启 | |
| systemctl status snmp_exporter | 状态 | |
| blackbox_exporter | /opt/blackbox_exporter/blackbox_ecporter/blackbox.yml | 配置文件 |
| systemctl restart blackbox_exporter | 重启 | |
| systemctl status blackbox_exporter | 状态 | |
| grafana | /etc/grafana/grafana.ini | 配置文件 |
| service grafana-server restart | 重启 | |
| service grafana-server status | 状态 |
模块关联
prometheus+snmp_exporter
在prometheus配置文件，设置snmp_exporter的地址127.0.0.1:9116，关联成功。
点击查看代码
- job_name: 'network-switch'
scrape_interval: 100s
scrape_timeout: 80s
static_configs:
- targets: ['10.10.0.254']
metrics_path: /snmp
params:
module: [if_mib]
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: 127.0.0.1:9116
验证：重启服务后，打开prometheus网页http://192.168.0.212:9090 点击Status-Targets，可以看到相关的数据已经展示。
prometheus+blackbox_exporter
在prometheus配置文件，设置snmp_exporter的地址127.0.0.1:9115，关联成功。
点击查看代码
- job_name: "IPPing"
scrape_interval: 40s
scrape_timeout: 20s
metrics_path: /probe
params:
module: [icmp]
static_configs:
- targets:
- 10.10.0.248
- 10.60.0.25
- 192.168.0.23
labels:
group: 核心设备
blackbox: 'Ping'
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: 127.0.0.1:9115
验证：重启服务后，打开prometheus网页http://192.168.0.212:9090 点击Status-Targets，可以看到相关的数据已经展示。
prometheus+grafana
打开grafana网页版，设置-Data sources，选择Prometheus，输入prometheus地址，即可关联成功。
验证：重启服务后，打开grafana网页http://192.168.0.212:3000 点击Dashboards-browse，创建监控图。
前期可以使用模板，参考一些，个人建议熟悉命令后，自己自定义调试。
模板-Dashboards-+Import，输入模板编号。
模板编号：12489
11169
prometheus+alertmanager_exporter
六、模块调试
snmp_exporter调试
Prometheus调用snmp_exporter模块获取到的信息，通过刚才的关联，提供给Prometheus使用，grafana读取Prometheus的snmp_exporter。所以，关键第一步是调试好snmp_exporter模块。
1、交换机设备设置
在交换机添加团体字
snmp-agent community read cipher kkroot
snmp-agent sys-info version v2c
2、在Prometheus配置文件添加交换机IP地址
点击查看代码
- job_name: 'network-switch'
scrape_interval: 100s
scrape_timeout: 80s
static_configs:
- targets: ['10.10.0.254']
等待一会，获取以下信息
方法2、在服务器使用snmpwalk检查
snmpwalk -v 2c -c kkroot 10.10.0.254
4、验证
获取Inbound方向流量
（这些参数是根据刚才网页端得到的snmp里面的信息，调试出来的参数）
rate(ifInOctets{instance="10.10.0.254", ifName="GigabitEthernet0/0/23"}[5m]) * 8 / 1000000
blackbox_exporter调试
思路与刚才的snmp_exporter一样，可以自行思考下，比较简单
1、在Prometheus配置文件添加监控设备的IP地址
点击查看代码
- job_name: "IPPing"
scrape_interval: 40s
scrape_timeout: 20s
metrics_path: /probe
params:
module: [icmp]
static_configs:
- targets:
- 10.10.0.248
2、使用blackbox_exporter验证是否能获取到Ping的IP信息。
登录http://192.168.0.212:9115/ 点击10.10.0.248的信息
可以查询到监控返回的信息
3、展示
probe_duration_seconds{group="核心设备"} * 1000
alertmanager调试
在prometheus配置文件，设置alertmanager的地址127.0.0.1:9093，开启rule_files规则关联成功。
点击查看代码
alerting:
alertmanagers:
- static_configs:
- targets:
- 127.0.0.1:9093
rule_files:
- "rules/*.rules"
# - "second_rules.yml"
1、添加邮箱告警方式
点击查看代码
[root@monitor ~]# cat /opt/alertmanager/alertmanager.yml
global:
resolve_timeout: 5m
smtp_smarthost: 'c1.xxxxxx.net:25'
smtp_from: '111@kkroot.com'
smtp_auth_username: '111@kkroot.com'
smtp_auth_password: 'kkroot1234'
route: #配置警告发送，接受规则
group_by: ['alertname'] #根据标签分组
group_wait: 2m #发送告警等待时间，为了合并相同告警一起发送
group_interval: 5m #发送告警间隔时间
repeat_interval: 30m #重复告警时间，控制发送告警频率
receiver: 'web.hook'
receivers:
- name: 'web.hook'
email_configs:
- to: "kkkkkkk@qq.com"
html: '{{template "email.to.html" .}}'
send_resolved: true
headers: {Subject: "监控告警"}
- to: "qqqqqqqq@qq.com"
html: '{{template "email.to.html" .}}'
send_resolved: true
headers: {Subject: "监控告警"}
2、设置规则
点击查看代码
[root@monitor rules]# pwd
/etc/prometheus/rules
[root@monitor rules]# cat icmp.rules
groups:
- name: icmp_rules
rules:
- alert: Ping监控
expr: probe_success == 0
for: 5m
labels:
serverity: error
annotations:
summary: "设备离线"
3、验证效果
打开promethus平台，点击Alerts可看到规则。关掉10.10.0.248主机，可收到监控邮件。
七、故障处理
1、prometheus目标主机提示文本太长
修改超时时间，注意有空格
scrape_interval: 40s
scrape_timeout: 20s
