prometheus + grafana + node_exporter + alertmanager 的安装部署与邮件报警 (一)
大家一定要先看详细的理论教程，再开始搭建，这样报错后才容易找到突破口
参考文档
https://www.cnblogs.com/afterdawn/p/9020129.html
https://www.ibm.com/developerworks/cn/cloud/library/cl-lo-prometheus-getting-started-and-practice/
https://www.hi-linux.com/posts/25047.html 参考grafana安装
https://www.ctolib.com/docs/sfile/prometheus-book/
https://www.ctolib.com/docs/sfile/prometheus-book/quickstart/index.html 理论 详解教程
https://codegreen.cn/2018/09/28/prometheus-install/#31%E5%AE%89%E8%A3%85%E9%85%8D%E7%BD%AE-alertmanager
背景介绍
Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。Prometheus使用Go语言开发，是Google BorgMon监控系统的开源版本。
Prometheus的特点
多维度数据模型。
灵活的查询语言。
不依赖分布式存储，单个服务器节点是自主的。
通过基于HTTP的pull方式采集时序数据。
可以通过中间网关进行时序列数据推送。
通过服务发现或者静态配置来发现目标服务对象。
支持多种多样的图表和界面展示，比如Grafana等。
相关组件
Prometheus Server --- Prometheus组件中的核心部分，负责实现对监控数据的获取，存储以及查询。
Push Gateway --- Prometheus数据采集基于Pull模型，当Prometheus Server不能直接与Exporter进行通信时，可利用PushGateway来进行中转。即通过PushGateway将内部网络的监控数据主动Push到Gateway当中，Prometheus Server再采用同样Pull的方式从PushGateway中获取监控数据。
Exporter --- 数据采集组件，它并不向中央服务器发送数据，而是等待中央服务器主动前来抓取。其将监控数据采集的端点通过HTTP服务的形式暴露给Prometheus Server，Prometheus Server通过访问该Exporter提供的Endpoint端点，即可获取到需要采集的监控数据。
alertmanager --- 若Promtheus Server中发现某监控项满足PromQL中定义的告警规则，则会产生一条告警，并将其交于AlertManager进行管理。在AlertManager中可以配置各种通知方式，也可以定义Webhook自定义告警处理方式。AlertManager即Prometheus体系中的告警处理中心。
服务器
| ip | 安装软件 |
|---|---|
| 192.168.20.135 | Prometheus、grafana 、alertmanager |
| 192.168.20.137 | node_exporter |
安装Prometheus
wget https://github.com/prometheus/prometheus/releases/tag/v2.1.0/prometheus-2.1.0.linux-amd64.tar.gz
tar -xvf prometheus-2.1.0.linux-amd64.tar.gz -C /usr/local/
mv /usr/local/prometheus-2.1.0.linux-amd64 /usr/local/prometheus-2.1
启动prometheus
cd /usr/local/prometheus-2.1
./prometheus &
netstat -tunlp|grep 9090
prometheus server是可以获取到本机数据的，可用以下命令查看
curl localhost:9090/metrics
web页面
http://192.168.20.135:9090/targets
安装node_exporter
node_exporter我安装在192.168.20.137上，你也可以安装在server上，采集server数据。
wget https://github.com/prometheus/node_exporter/releases/download/v0.16.0-rc.3/node_exporter-0.16.0-rc.3.linux-amd64.tar.gz
tar -xvf node_exporter-0.16.0-rc.3.linux-amd64.tar.gz -C /usr/local/
mv /usr/local/node_exporter-0.16.0-rc.3.linux-amd64/ /usr/local/node_exporter-0.16
启动node_exporter
cd /usr/local/node_exporter-0.16
./node_exporter &
netstat -tunlp|grep 9100
查看各项监控指标是否有数据了：
curl localhost:9100/metrics
在server端prometheus.yml末尾添加job：
vim /usr/local/prometheus-2.1/prometheus.yml
- job_name: 'export_test2'
static_configs:
- targets: ['192.168.20.137:9100']
labels:
instance: 'node2'
重启prometheus：
killall prometheus
cd /usr/local/prometheus-2.1/
./prometheus
在prometheus的web界面查看：status --> targets
我们可以随便查看一个监控项，看是否获取到值，也可在Graph下进行数据的查找与曲线图的展示
安装grafana
grafana与prometheus进行对接，可以对数据进行更好的展示
wget https://dl.grafana.com/oss/release/grafana-5.4.3.linux-amd64.tar.gz
tar -xvf grafana-5.4.3.linux-amd64.tar.gz -C /usr/local/
启动grafana
cd /usr/local/grafana-5.4.3/bin/
./grafana-server &
登录grafana的web页面
http://192.168.20.135:3000/
admin/admin
添加数据源与自带模板
Add data source --> http://192.168.20.135:9090 --> Dashboards --> prometheus2.0 --> save&test
添加node-exporter-server-metrics 模板
下载方法：https://grafana.com/dashboards/405 --> Dashboards -->在如图搜索框搜索node-exporter-server-metrics -->点击第一个进去 --> version --> download
在grafana的Dashboard 中导入模板的json文件
同时存在多个job，可以勾选展示。
添加1 Node Exporter 0.16 0.17 for Prometheus 监控展示看板
此监控模板基于node_exporter 可以更好的展示多项基本监控项
模板url: https://grafana.com/dashboards/8919
在grafana所在server安装饼图插件，并重启grafana
cd /usr/local/grafana/bin
./grafana-cli plugins install grafana-piechart-panel
killall grafana-server
./grafana-server restart &
图形界面配置
grafana + --> import --> 将以上该模板的url 填到Grafana.com Dashboard中 -->
展示
alertmanager的告警配置
自定义prometheus告警规则
以下规则定义当job export_test2的node_exporter服务挂掉，即产生一个告警
vim /usr/local/prometheus-2.1/rule.yml
groups:
- name: alert-rules #告警的分组，后续告警优化时，可通过分组做优化配置
rules:
- alert: InstanceStatus #告警规则名称
expr: up{job="export_test2"} == 0 #1是服务正常 ，0服务挂了
for: 10s #评估等待10s，等待期间报警状态为pending
labels: #此标签可用于match之后的通知操作
severity: 'critical'
annotations: #描述告警信息
description: 服务器 已宕机
summary: 服务器 运行状态
在prometheus的配置文件中添加该规则
vim /usr/local/prometheus-2.1/prometheus.yml
rule_files:
- "/usr/local/prometheus-2.1/rule.yml"
安装alertmanager
https://github.com/prometheus/alertmanager/releases/download/v0.15.2/alertmanager-0.15.2.linux-amd64.tar.gz
tar -xvf alertmanager-0.15.2.linux-amd64.tar.gz -C /usr/local
mv /usr/local/alertmanager-0.15.2.linux-amd64 /usr/local/alertmanager-0.15.2
启动alertmanager
cd /usr/local/alertmanager-0.15.2
./alertmanager &
在prometheus的配置文件中配置alertmanager地址，让其知晓alertmanager的地址，以传送告警信息
vim /usr/local/prometheus-2.1/prometheus.yml
alerting:
alertmanagers:
- static_configs:
- targets: ['localhost:9093']
重启promethous
killall prometheus
cd /usr/local/prometheus-2.1/
./prometheus
测试：
此时关闭192.168.20.137的node_exporter服务
killall node_exporter
查看prometheus的web界面，已经产生告警：
再查看alertmanager已经接收到来自prometheus的告警：
配置告警处理策略
新建alertmanager.yml,由于要进行发邮件测试，将等待时间和间隔时间设置的很短
vim /usr/local/alertmanager-0.15.2/alertmanager.yml
global: #若所有的邮件配置使用相同的SMTP配置，则可以直接定义全局的SMTP配置
smtp_smarthost: 'smtp.126.com:25'
smtp_from: 'xxxx@126.com'
smtp_auth_username: 'xxxx@126.com'
smtp_auth_password: 'xxx121212' #这是授权码，不是密码，
smtp_require_tls: false
#templates: #默认Alertmanager使用系统自带的默认通知模板 ，用户也可在此自定义模板
# - '/alertmanager/template/*.tmpl'
route: #顶级路由必须匹配所有报警，因为他要接受所有报警，再分匹配到分支路由上
group_by: ['alertname'] #满足group_by中定义标签名称，那么这些告警将会合并为一个通知发送给接收器。
group_wait: 1s #同一group的等待时间，在等待时间内当前group接收到了新的告警，这些告警将会合并为一个通知向receiver发送
group_interval: 5s #同一Gourp发送告警通知的时间间隔
repeat_interval: 20s #在连续告警触发的情况下，重复发送告警的时间间隔
receiver: 'default-receiver'
routes: #分支路由，可设置不同的匹配规则
- receiver: 'default-receiver'
match: #匹配告警规则的key:value
severity: 'critical'
receivers:
- name: 'default-receiver'
email_configs:
- to: '1xxxx@qq.com'
send_resolved: true #告警解除发送恢复通知
重启alertmanager
killall alertmanager
cd /usr/local/alertmanager-0.15.2
./alertmanager &
查看alertmanager的配置是否加载,点击web页面的status
查看接收到的邮件报警信息
解除报警后的恢复邮件
