Prometheus监控系统（4）pushgateway及自定义脚本

一、pushgateway的作用

传统监控软件如Zabbix通常都建议使用push的方式来由客户端推送数据给服务端，这样可以减轻服务端压力。但是这样也有个弊端就是配置更为复杂，需要在每个agent上都配置server的地址才可以感知到server的存在。虽然Prometheus默认已经是采用pull的方式来主动拉取数据，但是在某些情况下还是会使用更灵活的push方式，比如需要监控的项目生命周期很短，需要主动上报数据给服务端，这个时候就可以使用Prometheus的pushgateway来实现push方式的监控。Prometheus不再需要自己去拉取数据，而是让用户通过自定义的Shell脚本把需要的数据发送给pushgateway，然后再由pushgateway推送数据给Prometheus。pushgateway是可以单独运行在任何节点上的插件，不一定要在被监控客户端上。

二、配置pushgateway方式监控

1、在Prometheus官网下载pushgateway组件。下载地址是https://prometheus.io/download/

2、将压缩包解压并运行pushgateway程序，默认会监听在9091端口

./pushgateway

3、修改prometheus的配置文件，给pushgateway定义一个job

-job_name: 'pushgateway_test'  #这个名称可以自定义，后面会用到
  static_configs:
    - targets: ['192.168.100.110:9091']  #这里是pushgateway的地址

4、自定义脚本采集数据，这里以监控timewait的数量为例

vi count_netstat_wait_connections.sh
#!/bin/bash
instance_name=`hostname -f | cut -d'.' -f1`  #获取本机名，用于后面的的标签
label="count_netstat_wait_connections"  #定义key名
count_netstat_wait_connections=`netstat -an | grep -i wait | wc -l`  #获取数据的命令
echo "$label: $count_netstat_wait_connections"
echo "$label  $count_netstat_wait_connections" | curl --data-binary @- http://server.com:9091/metrics/job/pushgateway_test/instance/$instance_name  #这里pushgateway_test就是prometheus主配置文件里job的名字，需要保持一致，这样数据就会推送给这个job。后面的instance则是指定机器名，使用的就是脚本里获取的那个变量值

5、将脚本加入到计划任务中，定时推送数据，如果希望监控时长小于一分钟，可以使用sleep方法

6、在Prometheus界面使用自定义的key获取数据测试

实例操作：

python3 查询influxdb的数据 
 
#!/usr/bin/env python3
# -*- encoding: utf-8 -*-
 
import datetime as dt
import re
import sys
import os
from influxdb import InfluxDBClient
 
def influxdb_query():
    host = '10.96.66.79'
    port = 8086
    user = 'root'
    password = 'root'
    dbname = 'telegraf'
    query = 'select last(value) from iostat_info;'
 
    client = InfluxDBClient(host, port, user, password, dbname)
 
 
 
   # print("Querying data: " + query)
    result = client.query(query)
    result_list = list(result)[0]
    print(result_list[0]["last"])   
 
 
 
influxdb_query()

shell 调用python的返回值，并将值推送给 pushgateway

#!/bin/bash 
 
instance_name="测试环境的iostat信息"
 
label="iostat_info_value"
 
iostat_info_value=`python3 influxdb_query.py`
 
echo "$label:   ${iostat_info_value}"
echo "$label:   ${iostat_info_value}" | curl --data-binary @- http://172.16.234.60:9091/metrics/job/pushgateway_test/instance/$instance_name

prometheus 配置相关的 job_name 信息：

  - job_name: 'pushgateway_test'
    scrape_interval: 5s
    honor_labels: true
    static_configs:
      - targets: ['172.16.234.60:9091']
 
 
重启 prometheus: :kill -HUP $(ps aux|grep prometheus |awk 'NR==1{print $2}')

执行脚本 sh iostat_info_value.sh 查看promethus 信息，数据已经产生

脚本监控gitlab的备份文件
 
cat gitlab_backup_monitor_to_prometheus.sh 
 
#!/bin/bash
 
instance_name="gitlab备份文件监控"
 
label="gitlab_backup_file_monitor"
 
gitlabfile_nums_value=`cd /data3/wjj/gitlabbak &&  ls |grep -c  gitlab`
 
echo "$label:   ${gitlabfile_nums_value}"
echo "$label   ${gitlabfile_nums_value}" | curl --data-binary @- http://47.*****.**:9091/metrics/job/pushgateway_test/instance/$instance_name

监控规则 
 
 
cat pushgateway.yml 
groups:
- name: gitlab-backup_file-monitor
  rules:
  - alert: gitlab-backup_file-failed
    expr: gitlab_backup_file_monitor < 5
    for: 1m
    labels:
      severity: critical
    annotations:
      summary: gitlab backup files is less than 5pcs.
      description: "gitlab backup process failed"