Docker实现GPA+Exporter监控告警系统
1.搭建grafana，prometheus，blackbox_exporter环境
# docker run -d -p 9090:9090 -v /tmp:/etc/prometheus --name prometheus prom/prometheus
# docker run -d -p 3000:3000 --name grafana grafana/grafana:5.1.0
# docker run -d -p 9115:9115 --name blackbox_exporter -v /tmp:/config prom/blackbox-exporter --config.file=/config/blackbox.yml
# docker run -d -p 9093:9093 -v /tmp/alertmanager_config.yml:/etc/alertmanager/alertmanager.yml --name alertmanager prom/alertmanager
2.配置grafana添加promethues数据源并添加图表可视化。安装pie插件并重启grafana。
# grafana-cli plugins install grafana-piechart-panel
# docker restart grafana
3.blackbox_exporter和promethues修改配置文件之后使用以下命令重载：
# curl -XPOST http://127.0.0.1:9115/-/reload
# curl -XPOST http://127.0.0.1:9090/-/reload // 需要 --web.enable-lifecycle 参数为true
4.Debugging Blackbox exporter failures
# The first is to add &debug=true to the probe URL, for example http://localhost:9115/probe?module=http_2xx&target=https://www.prometheus.io/&debug=true. This will not produce metrics, but rather detailed debug information。
5.配置文件示例：
==========================================
1.#cat blackbox.yml
modules:
http_2xx: # http 监测模块
prober: http
http:
valid_http_versions: ["HTTP/1.1", "HTTP/2"]
valid_status_codes: [] # Defaults to 2xx
method: GET
http_post_2xx: # http post 监测模块
prober: http
http:
method: POST
tcp_connect: # tcp 监测模块
prober: tcp
timeout: 5s
tcp:
preferred_ip_protocol: "ip4"
source_ip_address: "127.0.0.1"
ping: # icmp 检测模块
prober: icmp
timeout: 5s
icmp:
preferred_ip_protocol: "ip4"
source_ip_address: "127.0.0.1"
dns:
prober: dns
timeout: 5s
dns:
transport_protocol: "tcp" # defaults to "udp"
preferred_ip_protocol: "ip4" # defaults to "ip6"
query_name: "xxx.xxx.cn"
query_type: "A"
==========================================
2.#cat promethues.yml
global:
scrape_interval: 15s
evaluation_interval: 10s
external_labels:
monitor: 'monitor'
alerting:
alertmanagers:
- static_configs:
- targets:
- 172.17.0.5:9093
rule_files:
- "first_rules.yml"
scrape_configs:
- job_name: 'prometheus'
scrape_interval: 5s
static_configs:
- targets: ['localhost:9090']
- job_name: 'blackbox_ping_all'
scrape_interval: 5s
scrape_timeout: 2s
metrics_path: /probe
params:
module: [ping]
file_sd_configs:
- files:
- /etc/prometheus/blackbox_ping.json
refresh_interval: 1m
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: 172.17.0.2:9115
- job_name: 'blackbox_http_code'
scrape_interval: 5s
metrics_path: /probe
params:
module: [http_2xx]
file_sd_configs:
- files:
- /etc/prometheus/blackbox_http_code.json
refresh_interval: 1m
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: 172.17.0.2:9115
- job_name: "blackbox_tcp"
metrics_path: /probe # 不是 metrics，是 probe
params:
module: [tcp_connect] # TCP 模块
file_sd_configs:
- files:
- /etc/prometheus/blackbox_tcp.json
refresh_interval: 1m
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: 172.17.0.2:9115
- job_name: "blackbox_dns"
metrics_path: /probe # 不是 metrics，是 probe
params:
module: [dns] # DNS 模块
static_configs:
- targets:
- xxx.xxx.xxx.xxx:53 #dns服务器的IP地址
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: 172.17.0.2:9115
1）# blackbox_ping.json
[
{
"targets": ["172.17.0.2", "172.17.0.3", "172.17.0.4", "172.17.0.5"]
}
]
2）# blackbox_http_code.json
[
{
"targets": ["172.17.0.4:3000", "172.17.0.5:9093", "https://www.baidu.com/"]
}
]
4）# blackbox_tcp.json
[
{
"targets": ["xxx.xxx.xxx.xxx:53"]
}
]
5）# blackbox_dns.json
[
{
"targets": ["xxx.xxx.xxx.xxx:53"] # 不要省略端口号
}
]
==========================================
3.#cat first_rules.yml
groups:
- name: http_code
rules:
- alert: HTTP_CODE_ERROR
expr: probe_http_status_code{instance="https://xxx.xxx.com/",job="blackbox_http_2xx"} != 200
for: 10m
labels:
severity: page
annotations:
summary: High request latency
# http_code alert rules
- name: example
rules:
- alert: ProbeFailing
expr: up{job="blackbox_http_code"} == 0 or probe_success{job="blackbox_http_code"} == 0
for: 10m
labels:
severity: page
# ssl expiry alert rules
- name: ssl_expiry.rules
rules:
- alert: SSLCertExpiringSoon
expr: probe_ssl_earliest_cert_expiry{job="blackbox_http_code"} - time() < 86400 * 30
for: 10m
# ping rules
- name: ping_all
rules:
- alert: Ping_down
expr: probe_success{job="blackbox_ping_all"} == 0
for: 10m
==========================================
4.#cat alertmanager.yml
# 全局配置项
global:
resolve_timeout: 5m #处理超时时间，默认为5min
smtp_smarthost: 'smtp.xxx.xxx.com:25' # 邮箱smtp服务器代理
smtp_from: 'xxx@xx.com' # 发送邮箱名称
smtp_auth_username: 'xxx@xx.com' # 邮箱名称
smtp_auth_password: 'xxxxxx' # 邮箱密码或授权码
# 定义模板信息
templates:
- 'template/*.tmpl'
# 定义路由树信息
route:
group_by: ['severity'] # 报警分组依据
group_wait: 10s # 当一个新的报警分组被创建后，需要等待至少group_wait时间来初始化通知，这种方式可以确保您能有足够的时间为同一分组来获取多个警报，然后一起触发这个报警信息。
group_interval: 10s # 当第一个报警发送后，等待'group_interval'时间来发送新的一组报警信息。
repeat_interval: 1m # 发送重复警报的周期,如果一个报警信息已经发送成功了，等待'repeat_interval'时间来重新发送他们,对于email配置中，此项不可以设置过低，否则将会由于邮件发送太多频繁，被smtp服务器拒绝
receiver: 'email' # 发送警报的接收者的名称，以下receivers name的名称
# 上面所有的属性都由所有子路由继承，并且可以在每个子路由上进行覆盖。
routes:
- receiver: email
group_wait: 10s
match:
instance: 172.17.0.2
# 定义警报接收者信息
receivers:
- name: 'email' # 警报
email_configs: # 邮箱配置
- to: 'xxx@xx.com' # 接收警报的email配置
html: '{{ template "test.html" . }}' # 设定邮箱的内容模板
headers: { Subject: "[WARN] 报警邮件"} # 接收邮件的标题
# 一个inhibition规则是在与另一组匹配器匹配的警报存在的条件下，使匹配一组匹配器的警报失效的规则。两个警报必须具有一组相同的标签。
inhibit_rules:
- source_match:
severity: 'critical'
target_match:
severity: 'warning'
equal: ['alertname', 'dev', 'instance']
==========================================
5.#cat test.tmpl
{{ define "test.html" }}
<table border="1">
<tr>
<td>报警项</td>
<td>实例</td>
<td>报警阀值</td>
<td>开始时间</td>
</tr>
{{ range $i, $alert := .Alerts }}
<tr>
<td>{{ index $alert.Labels "alertname" }}</td>
<td>{{ index $alert.Labels "instance" }}</td>
<td>{{ index $alert.Annotations "value" }}</td>
<td>{{ $alert.StartsAt }}</td>
</tr>
{{ end }}
</table>
{{ end }}
==========================================
# 原理和问题总结：
1.blackbox_exporter是Prometheus监控系统中用于在agent机器上采集http，DNS,ICMP相关信息，通过prometheus传递的参数和target，映射到对应的agent的web接口上进行处理。默认情况下，Blackbox Exporter在端口9115上运行，并在/probe端点上提供指标。Blackbox Exporter的scrape_configs配置与其他出口商的配置不同。 最显着的不同是targets指令，它列出了被探测的端点而不是出口者的地址。 出口商的地址是使用适当的__address__标签设置的。
2.prometheus采集到监控数据后需要告警时发现alertmanager要等待prometheus发送数据之后再处理，也就是告警出现延时。分析验证结果：目标节点down机后，exporter很快检测到，通过查询可以知道prometheus中也更新了，但是prometheus的alert并没有更新，而是等待了一会之后由绿色变为黄色，进入pending状态，后来查看配置知道和evaluation_interval参数有关，默认是1m，该参数是评估报警规则的时间间隔，也就是更新Alert状态的时间，然后根据规则里for的设置5秒后由黄色变为红色，进入firing状态，这时发送警报到alertmanager，由alertmanager发出邮件告警。alertmanager同一个告警发送邮件的间隔时间是30s,可以通过设置Slienced来暂时屏蔽告警信息的发送。通过alertmangaer的repeat interval,group wait和group interval三个参数（配置在route树形结构下）来控制通知的发送规则和时间间隔，防止告警信息轰炸，具体配置需熟悉。注意：group_wait的时间如果设置时间过长，会导致报警发出有延迟；配置时间过短，同时会导致大量的邮件轰炸。建议根据不同警报重要性进行配置。
3.alertmanager的路由分组使用group_by配合alert rule规则配置文件中设置的labels来实现的。使得告警邮件合并了聚合后的告警信息，减少了告警邮件数。
4.还有其他的exporter可以安装后使用targets发现导入即可。
