Prometheus+Grafana监控MySQL

Prometheus(由go语言(golang)开发)是一套开源的监控&报警&时间序列数据库的组合。适合监控docker容器。因为kubernetes(俗称k8s)的流行带动了prometheus的发展。被很多人称为下一代监控系统。
Grafana是一个开源的图表可视化系统，简单说图表配置比较方便、生成的图表比较漂亮，并能实现报警。支持五十多种数据源，Prometheus就是其中支持的一种。
下面就介绍了利用Prometheus与Grafana对Mysql服务器性能监控的方法。

1 架构图

祖传老图，修一修拿来用

下面是本次部署的架构图

2 实验环境准备

grafana服务器：10.0.3.112
Prometheus服务器：10.0.3.112
被监控服务器：10.0.3.105/115

1.时间同步（时间同步一定要确认一下）
2.关闭防火墙，selinux

3 安装prometheus server

从 https://prometheus.io/download/ 下载相应版本，安装到服务器上
官网提供的是二进制版，解压就能用，不需要编译

3.1 安装

# 解压安装包
tar -xf prometheus-2.23.0.linux-amd64.tar.gz -C /opt

# 创建链接目录
cd /opt
ln -s prometheus-2.23.0.linux-amd64 prometheus

# 直接使用默认配置文件启动
/opt/prometheus/prometheus --config.file="/opt/prometheus/prometheus.yml" &

# 确认是否正常启动（默认端口9090）
[root@server ~]# netstat -lnptu | grep 9090
tcp6       0      0 :::9090                 :::*                    LISTEN      103006/prometheus

3.2 prometheus界面

通过浏览器访问http://服务器IP:9090就可以访问到prometheus的主界面

点Status-->Targets-->就可以看到监控的本机

3.3 监控本机数据展示

通过http://服务器IP:9090/metrics可以查看到监控的数据

在web主界面可以通过关键字查询监控项

4 监控远程Linux主机

4.1 在被监控端上安装node_exporter组件

下载地址: https://prometheus.io/download/

# 解压安装包
tar -xf node_exporter-1.0.1.linux-amd64.tar.gz -C /opt

# 创建链接目录
cd /opt
ln -s node_exporter-1.0.1.linux-amd64 node_exporter

# 使用nohup后台运行
nohup /opt/node_exporter/node_exporter &

# 确认是否正常启动（默认端口9100）
[root@mysql01 ~]# netstat -lnptu | grep 9100
tcp6       0      0 :::9100                 :::*                    LISTEN      20716/node_exporter 

扩展: nohup命令: 如果把启动node_exporter的终端给关闭,那么进程也会
随之关闭。nohup命令会帮你解决这个问题。

同样操作，将所有需要被监控主机安装node_exporter组件

4.2 通过浏览器访问http://被监控端IP:9100/metrics就可以查看到node_exporter在被监控端收集的监控信息

4.3 回到prometheus服务器的配置文件里添加被监控机器的配置段

在主配置文件最后面添加被监控主机信息
[root@server ~]# vim /opt/prometheus/prometheus.yml 

  - job_name: '10.0.3.105'      # 给被监控主机取个名字，我这里直接填的IP
    static_configs:
    - targets: ['10.0.3.105:9100']      # 这里填写被监控主机的IP和端口

  - job_name: '10.0.3.115'
    static_configs:
    - targets: ['10.0.3.115:9100']

有多少台被监控主机就照格式添加在后面好了，我这里监控了105/115两台主机

改完配置文件后，重启服务

[root@server ~]# pkill prometheus 
[root@server ~]# /opt/prometheus/prometheus --config.file="/opt/prometheus/prometheus.yml" &
[root@server ~]# netstat -lnptu | grep 9090

4.4 回到web管理界面，可以看到多了两台监控主机

5 监控远程MySQL

5.1 在被管理MySQL服务器上安装mysqld_exporter组件

下载地址: https://prometheus.io/download/

# 解压安装包
tar -xf mysqld_exporter-0.12.1.linux-amd64.tar.gz -C /opt

# 创建链接目录
cd /opt
ln -s mysqld_exporter-0.12.1.linux-amd64 mysqld_exporter

# 在MySQL服务器上创建监控用户
mysql> grant select,replication client, process on *.* to 'mysql_monitor'@'localhost' identified by '123';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.03 sec)

mysql> exit
Bye

# 将上面创建的mysql用户信息写入mysqld_exporter配置文件（新创建一个）
[root@mysql01 ~]# vim /opt/mysqld_exporter/.my.cnf
[client]
user=mysql_monitor
password=123

# 启动mysqld_exporter
nohup /opt/mysqld_exporter/mysqld_exporter --config.my-cnf=/opt/mysqld_exporter/.my.cnf &

# 确认是否正常启动（默认端口9104）
[root@mysql01 ~]# netstat -lnptu | grep 9104
tcp6       0      0 :::9104                 :::*                    LISTEN      32688/mysqld_export

5.2 回到prometheus服务器的配置文件里添加被监控的mariadb的配置段

在主配置文件最后面添加被监控主机信息
[root@server ~]# vim /opt/prometheus/prometheus.yml 

  - job_name: 'mysql-105'      # 给被监控主机取个名字
    static_configs:
    - targets: ['10.0.3.105:9104']      # 这里填写被监控主机的IP和端口

  - job_name: 'mysql-115'
    static_configs:
    - targets: ['10.0.3.115:9104']

有多少台被监控MySQL服务器就照格式添加在后面好了，我这里监控了105/115两台MySQL服务器

改完配置文件后，重启服务

[root@server ~]# pkill prometheus 
[root@server ~]# /opt/prometheus/prometheus --config.file="/opt/prometheus/prometheus.yml" &
[root@server ~]# netstat -lnptu | grep 9090

5.3 回到web管理界面点Status-->Targets-->就可以看到监控的MySQL服务器了

回到主界面搜索mysql相关参数

6 Grafana可视化图形工具

6.1 什么是Grafana

开头已经讲过了，官网：https://grafana.com/

6.2 安装grafana服务器

下载地址:https://grafana.com/grafana/download

我这是使用的是CentOS系统，直接下载rpm包就好
yum localinstall grafana-7.3.5-1.x86_64.rpm 

启动服务并加入开机启动
systemctl start grafana-server.service 
systemctl enable grafana-server.service 

检查服务状态（默认使用3000端口）
systemctl status grafana-server.service 

netstat -lnptu | grep 3000
tcp6       0      0 :::3000                 :::*                    LISTEN      112219/grafana-serv

6.3 登陆grafana WEB界面

通过浏览器访问 http:// grafana服务器IP:3000就到了登录界面,使用默认用户名admin，密码admin

登陆后会提示你修改密码，暂时不想修改话可以先跳过

至此，我们就可以看到grafana主界面了

7 在Grafana上添加Prometheus数据源

我们把prometheus服务器收集的数据做为一个数据源添加到grafana,让grafana可以得到prometheus的数据

8 Grafana图形显示Linux硬件信息

Grafana官方提供模板地址：https://grafana.com/grafana/dashboards
本次要导入的模板：https://grafana.com/grafana/dashboards/11074

8.1 Grafana导入监控模板

8.2 选择导入成功的模板查看

8.3 即可看到逼格非常高的系统主机节点监控信息

9 Grafana图形显示MySQL监控数据

方式一：通过Grafana官网导入模板

MySQL监控做的最好当属percona公司的了
Grafana官网地址：https://grafana.com/grafana/dashboards/7362

当然，这个更新的不及时，要体验最新的我们直接去项目地址下载安装mysql监控的dashboard（包含相关json文件，这些json文件可以看作是开发人员开发的一个监控模板)

下载网址: https://github.com/percona/grafana-dashboards

方式二：导入最新的json文件

9.2.1 下载最新json文件包

9.2.2 解压得到相关JSON文件

9.2.3 在grafana图形界面导入MySQL相关json文件

9.2.4 grafana展示MySQL相关数据

没数据可能是需要等一会，让数据传过来。
有些可能是Prometheus没有采集相关指标。
还有就是需要安装percona公司插件解决

10 监控报警

具体方案有很多

prometheus配合alertmanager这个组件报警，报警规则需要手动编写，这需要对prometheus+alertmanager有一定的了解
grafana配合SaaS模式的云告警平台onealert报警，onealert也是需要时间熟悉的
这里演示最传统的grafana+email报警

10.1 修改grafana配置文件，添加发件邮箱

vim /etc/grafana/grafana.ini    # 找到smtp关键字
#################################### SMTP / Emailing ##########################
[smtp]
enabled = true  # 改成true
host = smtp.exmail.qq.com:465   # 发送服务器地址和端口
user =  # 这里填写发件邮箱
# If the password contains # or ; you have to wrap it with triple quotes. Ex """#password;"""
password =  # 这里填写发件邮箱密码或授权密码
;cert_file =
;key_file =
skip_verify = true  # 改成true
from_address =  # 这里填写发件邮箱
;from_name = Grafana
# EHLO identity in SMTP dialog (defaults to instance_name)
;ehlo_identity = dashboard.example.com
# SMTP startTLS policy (defaults to 'OpportunisticStartTLS')
;startTLS_policy = NoStartTLS

10.2 在通知渠道创建收件人组

刚才操作都没问题话将测试邮件

10.3 测试触发报警

这里我们以监控mysql连接数来做测试

10.4 报警效果

10.5 报警不成功的可能原因

各服务器之间时间不同步，这样时序数据会出问题，也会造成报警出问题
必须写通知内容，留空内容是不会发报警的
修改完报警配置后，记得要点右上角的保存
保存配置后，需要由OK状态变为alerting状态才会报警(也就是说，你配置保存后，就已经是alerting状态是不会报警的)
grafana与邮箱通信有问题

因为有悔，所以披星戴月；因为有梦，所以奋不顾身！个人博客首发：`easydb.net` 微信公众号：`easydb` 关注我，不走丢！

posted @ 2020-12-17 20:46 easydba 阅读(8735) 评论(1) 编辑收藏举报

刷新页面返回顶部

Prometheus+Grafana监控MySQL

Prometheus+Grafana监控MySQL

1 架构图

祖传老图，修一修拿来用

2 实验环境准备

3 安装prometheus server

3.1 安装

3.2 prometheus界面

通过浏览器访问http://服务器IP:9090就可以访问到prometheus的主界面

点Status-->Targets-->就可以看到监控的本机

3.3 监控本机数据展示

通过http://服务器IP:9090/metrics可以查看到监控的数据

在web主界面可以通过关键字查询监控项

4 监控远程Linux主机

4.1 在被监控端上安装node_exporter组件

同样操作，将所有需要被监控主机安装node_exporter组件

4.2 通过浏览器访问http://被监控端IP:9100/metrics就可以查看到node_exporter在被监控端收集的监控信息

4.3 回到prometheus服务器的配置文件里添加被监控机器的配置段

改完配置文件后，重启服务

4.4 回到web管理界面，可以看到多了两台监控主机

5 监控远程MySQL

5.1 在被管理MySQL服务器上安装mysqld_exporter组件

5.2 回到prometheus服务器的配置文件里添加被监控的mariadb的配置段

改完配置文件后，重启服务

5.3 回到web管理界面点Status-->Targets-->就可以看到监控的MySQL服务器了

回到主界面搜索mysql相关参数

6 Grafana可视化图形工具

6.1 什么是Grafana

6.2 安装grafana服务器

6.3 登陆grafana WEB界面

通过浏览器访问 http:// grafana服务器IP:3000就到了登录界面,使用默认用户名admin，密码admin

至此，我们就可以看到grafana主界面了

7 在Grafana上添加Prometheus数据源

我们把prometheus服务器收集的数据做为一个数据源添加到grafana,让grafana可以得到prometheus的数据

8 Grafana图形显示Linux硬件信息

8.1 Grafana导入监控模板

8.2 选择导入成功的模板查看

8.3 即可看到逼格非常高的系统主机节点监控信息

9 Grafana图形显示MySQL监控数据

方式一：通过Grafana官网导入模板

当然，这个更新的不及时，要体验最新的我们直接去项目地址下载安装mysql监控的dashboard（包含相关json文件，这些json文件可以看作是开发人员开发的一个监控模板)

下载网址: https://github.com/percona/grafana-dashboards

方式二：导入最新的json文件

9.2.1 下载最新json文件包

9.2.2 解压得到相关JSON文件

9.2.3 在grafana图形界面导入MySQL相关json文件

9.2.4 grafana展示MySQL相关数据

10 监控报警

具体方案有很多

10.1 修改grafana配置文件，添加发件邮箱

10.2 在通知渠道创建收件人组

刚才操作都没问题话将测试邮件

10.3 测试触发报警

这里我们以监控mysql连接数来做测试

10.4 报警效果

10.5 报警不成功的可能原因

因为有悔，所以披星戴月；因为有梦，所以奋不顾身！ 个人博客首发：easydb.net 微信公众号：easydb 关注我，不走丢！

公告

因为有悔，所以披星戴月；因为有梦，所以奋不顾身！个人博客首发：`easydb.net` 微信公众号：`easydb` 关注我，不走丢！