【云原生】Grafana 介绍与实战操作
一、概述
grafana是用于可视化大型测量数据的开源程序，他提供了强大和优雅的方式去创建、共享、浏览数据。dashboard中显示了你不同metric数据源中的数据。
- grafana最常用于因特网基础设施和应用分析，但在其他领域也有机会用到，比如：工业传感器、家庭自动化、过程控制等等。
- grafana有热插拔控制面板和可扩展的数据源，目前已经支持Graphite、InfluxDB、OpenTSDB、Elasticsearch。
- grafana 高版本也支持告警功能，支持各种告警通道：webhook，alertmanager、mail、钉钉等等。
- 每一个数据源的查询语言和能力都是不一样的。你能够把来自多个数据源的数据组合到一个仪表板，但每个面板被绑定到一个特定的数据源,它就属于一个特定的组织。
一般是Prometheus与Grafana配套使用，有些公司直接使用Grafana告警，而弃用alertmanager。相关参考文档如下：
- Grafana官方文档：https://grafana.com/docs/grafana/latest/
- Grafana GitHub地址：https://github.com/grafana/grafana
- Prometheus原理详解
- 【云原生】Prometheus Pushgetway讲解与实战操作
- 【云原生】Prometheus AlertManager讲解与实战操作
- 【云原生】Prometheus PromQL讲解与实战操作
- 【云原生】Prometheus 自定义告警规则
二、Grafana 安装
1）下载安装
下载地址：https://grafana.com/grafana/download?platform=linux
wget https://dl.grafana.com/enterprise/release/grafana-enterprise-9.3.2-1.x86_64.rpm
sudo yum install grafana-enterprise-9.3.2-1.x86_64.rpm -y
2）安装包信息
- 二进制文件：
/usr/sbin/grafana-server - init.d 脚本：
/etc/init.d/grafana-server - 环境变量文件：
/etc/sysconfig/grafana-server - 配置文件：
/etc/grafana/grafana.ini - 启动项：
/usr/lib/systemd/system/grafana-server.service - 日志文件：
/var/log/grafana/grafana.log - 默认配置的
sqlite3数据库：/var/lib/grafana/grafana.db - grafana 默认插件的存放位置：
/var/lib/grafana/plugins
3）启动服务
sudo systemctl daemon-reload
sudo systemctl start grafana-server
# Grafana 开机自启动
sudo systemctl enable grafana-server
sudo systemctl status grafana-server
# 默认端口 3000
netstat -nlpt|grep 3000
4）Grafana 访问
默认端口是3000，访问地址：http://IP:3000
默认账号/密码：admin/admin
三、Grafana 功能介绍
- Data Source（数据源）：Grafana支持多种不同的时序数据库数据源，Grafana对每种数据源提供不同的查询方法，而且能很好的支持每种数据源的特性。
官方地址：https://grafana.com/docs/grafana/latest/datasources/
DashBoard：仪表盘，就像汽车仪表盘同样能够展现不少信息，包括车速，水箱温度等。Grafana的DashBoard就是以各类图形的方式来展现从Datasource拿到的数据。https://grafana.com/grafana/dashboards/Row：行，DashBoard的基本组成单元，一个DashBoard能够包含不少个row。一个row能够展现一种信息或者多种信息的组合，好比系统内存使用率，CPU五分钟及十分钟平均负载等。因此在一个DashBoard上能够集中展现不少内容。Panel：面板，实际上就是row展现信息的方式，支持表格（table），列表（alert list），热图（Heatmap）等多种方式，具体能够去官网上查阅。Query Editor：查询编辑器，用来指定获取哪一部分数据。相似于sql查询语句，好比你要在某个row里面展现test这张表的数据，那么Query Editor里面就能够写成select *from test。这只是一种比方，实际上每一个DataSource获取数据的方式都不同，因此写法也不同（https://grafana.com/docs/grafana/latest/datasources/），好比像zabbix，数据是以指定某个监控项的方式来获取的。Organization：组织，org是一个很大的概念，每一个用户能够拥有多个org，grafana有一个默认的main org。用户登陆后能够在不一样的org之间切换，前提是该用户拥有多个org。不一样的org之间彻底不同，包括datasource，dashboard等都不同。建立一个org就至关于开了一个全新的视图，全部的datasource，dashboard等都要再从新开始建立。User：用户，这个概念应该很简单，不用多说。Grafana里面用户有三种角色admin,editor,viewer。admin权限最高，能够执行任何操做，包括建立用户，新增Datasource，建立DashBoard。editor角色不能够建立用户，不能够新增Datasource，能够建立DashBoard。viewer角色仅能够查看DashBoard。在2.1版本及以后新增了一种角色read only editor（只读编辑模式），这种模式容许用户修改DashBoard，可是不容许保存。每一个user能够拥有多个organization。
四、使用mysql存储
1）安装mysql
mysql安装可以参考我下面这篇文章，这里就不再重复讲解了：MySQL高可用实战（ MHA）
2）修改grafana配置
1、创建grafana用户和grafana库
# 登录客户端
mysql -uroot -p
密码：123456
# 创建数据库
CREATE DATABASE IF NOT EXISTS grafana default charset utf8 COLLATE utf8_general_ci;
# 创建用户并授权
grant all on grafana.* to 'grafana'@'192.168.182.%' identified by '123456';
2、修改grafana配置
配置文件： /etc/grafana/grafana.ini
[database]
type = mysql
host = 192.168.182.110:3306
name = grafana
user = grafana
password = 123456
# 也可以直接配置url
# url = mysql://grafana:grafana@192.168.182.110:3306/grafana
重启grafana
systemctl restart grafana-server
五、配置数据源（Data sources）
1）配置prometheus 数据源
前面我们已经部署了prometheus了，所以可以把prometheus数据源加进来。
2）配置mysql 数据源
六、配置监控面板（Dashboard）
地址：https://grafana.com/grafana/dashboards/
1）node_exporter 监控面板
1、安装node_exporter
下载地址：https://github.com/prometheus/node_exporter/releases/
【1】下载
wget https://github.com/prometheus/node_exporter/releases/download/v1.5.0/node_exporter-1.5.0.linux-amd64.tar.gz
tar -xzf node_exporter-1.5.0.linux-amd64.tar.gz
【2】配置node_exporter.service启动
# 默认端口9100
cat >/usr/lib/systemd/system/node_exporter.service<<EOF
[Unit]
Description=node_exporter
After=network.target
#可以创建相应的用户和组 启动
#User=prometheus
#Group=prometheus
[Service]
ExecStart=/opt/prometheus/exporter/node_exporter/node_exporter-1.5.0.linux-amd64/node_exporter --web.listen-address=:9100
[Install]
WantedBy=multi-user.target
EOF
【3】启动服务
systemctl daemon-reload
systemctl start node_exporter
systemctl status node_exporter
systemctl enable node_exporter
【4】检查
curl http://localhost:9100/metrics
2、配置Prometheus加载node_exporter
添加或修改配置 prometheus.yml
重新加载
systemctl restart prometheus
# 1、 kill方式
#kill -HUP pid
# 2、curl方式（推荐）
#curl -X POST http://IP/-/reload
# 【注意】需要在启动的命令行增加参数： --web.enable-lifecycle
curl -X POST http://192.168.182.110:9090/-/reload
# 3、重启（不推荐，重启会导致所有的连接短暂性中断）
# systemctl restart prometheus
3、配置监控面板
地址：https://grafana.com/grafana/dashboards/?search=node_exporter
加载有两种方式：离线（json文件）和在线（通过ID远程下载json）
导入之后就可以看到数据了。
2）mysql_exporter 监控面板
下载地址：https://github.com/prometheus/mysqld_exporter
1、安装node_exporter
【1】下载
# 注意MySQL对应的版本
export VER=0.12.0
wget https://github.com/prometheus/mysqld_exporter/releases/download/v${VER}/mysqld_exporter-${VER}.linux-amd64.tar.gz
tar xvf mysqld_exporter-${VER}.linux-amd64.tar.gz
mv mysqld_exporter-${VER}.linux-amd64/mysqld_exporter /usr/local/bin/
chmod +x /usr/local/bin/mysqld_exporter
【2】配置数据库凭证
创建数据库凭证文件,为用户创建添加正确的用户名和密码并设置所有权限：
cat > /root/.my.cnf <<EOF
[client]
host=192.168.182.110
port=3306
user=mha
password=123456
EOF
【3】配置mysql_exporter.service启动
# 默认端口：9104
cat > /etc/systemd/system/mysqld_exporter.service <<EOF
[Unit]
Description=Prometheus MySQL Exporter
After=network.target
#User=prometheus
#Group=prometheus
[Service]
Type=simple
Restart=always
ExecStart=/usr/local/bin/mysqld_exporter \
--config.my-cnf /root/.my.cnf \
--collect.global_status \
--collect.info_schema.innodb_metrics \
--collect.auto_increment.columns \
--collect.info_schema.processlist \
--collect.binlog_size \
--collect.info_schema.tablestats \
--collect.global_variables \
--collect.info_schema.query_response_time \
--collect.info_schema.userstats \
--collect.info_schema.tables \
--collect.perf_schema.tablelocks \
--collect.perf_schema.file_events \
--collect.perf_schema.eventswaits \
--collect.perf_schema.indexiowaits \
--collect.perf_schema.tableiowaits \
--collect.slave_status \
--web.listen-address=0.0.0.0:9104
[Install]
WantedBy=multi-user.target
EOF
【4】启动服务
systemctl daemon-reload
systemctl start mysqld_exporter
systemctl status mysqld_exporter
systemctl enable mysqld_exporter
# 启动并开机自启，等价于上面两行
# systemctl enable --now mysqld_exporter
【5】检查
curl http://localhost:9104/metrics
2、配置Prometheus加载mysql_exporter
添加或修改配置 prometheus.yml
重新加载
systemctl restart prometheus
# 1、 kill方式
#kill -HUP pid
# 2、curl方式（推荐）
#curl -X POST http://IP/-/reload
# 【注意】需要在启动的命令行增加参数： --web.enable-lifecycle
curl -X POST http://192.168.182.110:9090/-/reload
# 3、重启（不推荐，重启会导致所有的连接短暂性中断）
# systemctl restart prometheus
3、配置监控面板
地址：https://grafana.com/grafana/dashboards/7362-mysql-overview/
3）Grafana Query语法
4）自定义监控面板
上面两个是网上提供的面板，其实在生产环境中，很多时候是需要自定义监控项的。
1、Prometheus数据源
【1】新建一个空面板
Panel：面板，实际上就是row展现信息的方式，支持表格（table），列表（alert list），热图（Heatmap）等多种方式，具体能够去官网上查阅。Row：行，DashBoard的基本组成单元，一个DashBoard能够包含不少个row。一个row能够展现一种信息或者多种信息的组合，好比系统内存使用率，CPU五分钟及十分钟平均负载等。因此在一个DashBoard上能够集中展现不少内容。
【2】编写PromQL表达式
选择Prometheus数据源并且选择Query 就可以直接写 PromQL。先在Prometheus上调试promql，在粘贴过来就行了。
# 内存使用率
100 - ((node_memory_MemAvailable_bytes{instance="192.168.182.110:9100",job="prometheus"} * 100) / node_memory_MemTotal_bytes{instance="192.168.182.110:9100",job="prometheus"})
上面只显示一个机器的内存，显然还不完善，如果想显示多个，可以这样表达：
# 把instance="192.168.182.110:9100"去掉
100 - ((node_memory_MemAvailable_bytes{job="prometheus"} * 100) / node_memory_MemTotal_bytes{job="prometheus"})
# 或者复制几份
100 - ((node_memory_MemAvailable_bytes{instance="192.168.182.110:9100",job="prometheus"} * 100) / node_memory_MemTotal_bytes{instance="192.168.182.110:9100",job="prometheus"})
100 - ((node_memory_MemAvailable_bytes{instance="192.168.182.111:9100",job="prometheus"} * 100) / node_memory_MemTotal_bytes{instance="192.168.182.111:9100",job="prometheus"})
100 - ((node_memory_MemAvailable_bytes{instance="192.168.182.112:9100",job="prometheus"} * 100) / node_memory_MemTotal_bytes{instance="192.168.182.112:9100",job="prometheus"})
【3】变量使用
显然上面的方式不太好，这里使用变量的方式动态获取实例个数。先来了解Grafana的几个函数：
| 函数 | 作用 |
|---|---|
| label_values(label) | 返回Promthues所有监控指标中，标签名为label的所有可选值。 |
| label_values(metric, label) | 返回Promthues所有监控指标metric中，标签名为label的所有可选值。 |
| metrics(metric) | 返回所有指标名称满足metric定义正则表达式的指标名称 |
| query_result(query) | 返回prometheus查询语句的查询结果 |
参数解释：
1、instance
type：变量类型，变量类型有多种，其中Query表示这个变量是一个查询语句，type可以是Custom自定义，type也可以是Data source，Data source就表示该变量代表一个数据源，如果是datasource你可以用该变量修改整个DashBoard的数据源，变量类型还可以是时间间隔Interval等等。这里我们选择Query。
2、General
Name：变量名，比如我这里取名为ip，到时候要使用这个变量名就用$ip来调用。Label：是对应下拉框的名称，默认就是变量名，选择默认即可。Description：描述。
3、Query options
Data source：数据源，不用多说。Query：查询表达式，不同的数据源查询表达式都不同。Regex：正则表达式，用来对抓取到的数据进行过滤，这里默认不过滤。Sort：排序，对下拉框中的变量值做排序，排序的方式挺多的，默认是disable，表示查询结果是怎样下拉框就怎样显示。此处选disable。Refresh: 何时去更新变量的值，变量的值是通过查询数据源获取到的，但是数据源本身也会发生变化，所以要时不时的去更新变量的值，这样数据源的改变才会在变量对应的下拉框中显示出来。Refresh有两个值可以选择。On Dashboard Load：在DashBoard加载时更新。On Time Range Change：在时间范围变化时更新。此处，选择On Dashboard Load，当数据源发生更新是，刷新一下当前DashBoard，变量的值也会跟着发生更新。
4、Selection Options
Multi-value：启用这个功能，变量的值就可以选择多个，具体表现在变量对应的下拉框中可以选多个值的组合。Include All option：启用这个功能，变量下拉框中就多了一个all选项。Custom all value：启用Include All option这个功能，才会出现Custom all value这个输入框，表示给all这个选项自定义一个值，all这个选项默认是所有值的组合，你也可以自定义。
【温馨提示】虽然选择组合值可以在一个panel里面查看多种监控数据，但是由于不同监控数据的数值大小格式都可能不一样，在一个图形里面格式很难兼容，这样就会出现问题，所以此处建议默认都不选。
修改表达如下：
100 - ((node_memory_MemAvailable_bytes{instance="$instance",job="prometheus"} * 100) / node_memory_MemTotal_bytes{instance="$instance",job="prometheus"})
2、MySQL数据源
可以直接写sql，直接以表格的形式展现，非常的方便的，像在大数据领域sql是使用最频繁的，所以使用这种直接sql的方式显示图表监控情况还是非常方便的。
到此，Grafana 介绍与实战操作就先到这里了，还有一个告警模块（Alerting）内容比较多，就放到下一篇文章讲解了，有任何疑问欢迎给我留言，后续会持续更新【云原生+大数据】相关的文章，请小伙伴耐心等待~
