SpringBoot+Prometheus+Grafana实现应用监控和报警

一、背景

SpringBoot的应用监控方案比较多，SpringBoot+Prometheus+Grafana是目前比较常用的方案之一。它们三者之间的关系大概如下图：

关系图

二、开发SpringBoot应用

首先，创建一个SpringBoot项目，pom文件如下：

<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

        <!-- https://mvnrepository.com/artifact/io.prometheus/simpleclient_spring_boot -->
        <dependency>
            <groupId>io.prometheus</groupId>
            <artifactId>simpleclient_spring_boot</artifactId>
            <version>0.8.1</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-security</artifactId>
        </dependency>

注意： 这里的SpringBoot版本是1.5.7.RELEASE，之所以不用最新的2.X是因为最新的simpleclient_spring_boot只支持1.5.X，不确定2.X版本的能否支持。

MonitorDemoApplication启动类增加注解

package cn.sp; 
 
import io.prometheus.client.spring.boot.EnablePrometheusEndpoint; 
import io.prometheus.client.spring.boot.EnableSpringBootMetricsCollector; 
import org.springframework.boot.SpringApplication; 
import org.springframework.boot.autoconfigure.SpringBootApplication; 
@EnablePrometheusEndpoint 
@EnableSpringBootMetricsCollector 
@SpringBootApplication 
public class MonitorDemoApplication { 
 
    public static void main(String[] args) { 
        SpringApplication.run(MonitorDemoApplication.class, args); 
    } 
 
} 
 

配置文件application.yml

server: 
  port: 8848 
spring: 
  application: 
    name: monitor-demo 
 
security: 
  user: 
    name: admin 
    password: 1234 
  basic: 
    enabled: true 
    # 安全路径列表，逗号分隔，此处只针对/admin路径进行认证 
    path: /admin 
 
# actuator暴露接口的前缀 
management: 
  context-path: /admin 
  # actuator暴露接口使用的端口，为了和api接口使用的端口进行分离 
  port: 8888 
  security: 
    enabled: true 
    roles: SUPERUSER 

测试代码TestController

@RequestMapping("/heap/test")
@RestController
public class TestController {

    public static final Map<String, Object> map = new ConcurrentHashMap<>();

    @RequestMapping("")
    public String testHeapUsed() {
        for (int i = 0; i < 10000000; i++) {
            map.put(i + "", new Object());
        }
        return "ok";
    }
}

这里的逻辑就是在请求这个接口后，创建大量对象保存到map中增加堆内存使用量，方便后面测试邮件报警。

启动项目后，可以在IDEA中看到有很多Endpoints，如图：

enter description here

开始我的IDEA是不显示这个Endpoints，后来发现是我使用的idea版本太老了,还是2017.1的，
而这个需要 idea2017.2版本以上才能看到。
后来只好重新下载安装，弄了好久。。。。

启动完毕，访问http://localhost:8888/admin/prometheus就可以看到服务暴露的那些监控指标了。

监控指标

注意：

由于开启了安全认证，所以访问这个URL的需要提示输入账号/密码，如果提示404请检查下你的请求地址是否正确，如果不设置management.context-path则默认地址是http://ip:port/prometheus

三、安装Prometheus

下载地址点击这里，本文下载的是Windows版本prometheus-2.17.2.windows-amd64.tar.gz。

解压后修改prometheus.yml文件，配置数据采集的目标信息。

scrape_configs: 
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config. 
  # - job_name: 'prometheus' 
 
    # metrics_path defaults to '/metrics' 
    # scheme defaults to 'http'. 
 
    # static_configs: 
    # - targets: ['localhost:9090'] 
  - job_name: 'monitor-demo' 
    scrape_interval: 5s # 刮取的时间间隔 
    scrape_timeout: 5s  
    metrics_path: /admin/prometheus 
    scheme: http  
    basic_auth: #认证信息 
      username: admin 
      password: 1234 
    static_configs: 
      - targets: 
        - 127.0.0.1:8888  #此处填写 Spring Boot 应用的 IP + 端口号 

更多配置信息请查看官方文档。

现在可以启动Prometheus了，命令行输入：prometheus.exe --config.file=prometheus.yml
访问http://localhost:9090/targets，查看Spring Boot采集状态是否正常。

采集目标信息

四、安装Grafana

下载地址点击这里，本文用到的是Windows版本grafana-6.3.3.windows-amd64.zip。

解压后运行bin目录下的grafana-server.exe启动，游览器访问http://localhost:3000即可看到登录页面，默认账号密码是admin/admin。

现在开始创建自己的可视化监控面板。
1.设置数据源
enter description here

2. 创建一个Dashboard
enter description here

enter description here

3. 填写采集的指标点
enter description here

注意： 这里的指标点不能随便填，必须是已有的可以在 Prometheus看到。

采集指标

4.选择图表样式
enter description here

5.填写标题描述
enter description here

最后点击右上角的保存，输入Dashboad的名称即可。

结果展示

Tips: 这里的图表布局是可以用鼠标拖动的

五、添加邮件报警

在实际项目中当监控的某的个指标超过阈值（比如CPU使用率过高），希望监控系统自动通过短信、钉钉和邮件等方式报警及时通知运维人员，Grafana就支持该功能。

第一步： 点击[Alerting]——>[Notification channels]添加通知通道

创建通道

编辑

这里的Type有很多选项，包括webhook、钉钉等，这里以邮件为例。

第二步： 邮箱配置
Grafana默认使用conf目录下defaults.ini作为配置文件运行，根据官方的建议我们不要更改defaults.ini而是在同级目录下新建一个配置文件custom.ini。
以腾讯企业邮箱为例，配置如下：

#################################### SMTP / Emailing #####################
[smtp]
enabled = true
host = smtp.exmail.qq.com:465
user = xxxx@ininin.com
# If the password contains # or ; you have to wrap it with triple quotes. Ex """#password;"""
password = XXX
cert_file =
key_file =
skip_verify = true
from_address = xxxx@ininin.com
from_name = Grafana
ehlo_identity = ininin.com

然后需要重启Grafana，命令grafana-server.exe -config=E:\file\grafana-6.3.3\conf\custom.ini

第三步： 为指标添加alert

配置预警规则

配置通知方式和信息

Evaluate every

表示检测评率，这里为了测试效果，改为1秒

For

如果警报规则配置了For，并且查询违反了配置的阈值，那么它将首先从OK变为Pending。从OK到Pending Grafana不会发送任何通知。一旦警报规则的触发时间超过持续时间，它将更改为Alerting并发送警报通知。

Conditions

when 表示什么时间，of 表示条件，is above 表示触发值
同时，设置了is above后会有一条红线。

If no data or all values are null

如果没有数据或所有值都为空，这里选择触发报警

If execution error or timeout

如果执行错误或超时，这里选择触发报警

注意： 下一次触发，比如10秒后，它不会再次触发，防止报警风暴产生！

第四步： 测试
请求http://localhost:8848/heap/test接口后，内存升高大于设置的阈值，然后就收到报警邮件。

报警邮件

这里图片没有显示出来，搞不懂为什么。

六、总结

这套监控功能还是挺强大的，就是Prometheus的表达式有点多。

附上几个链接：
Prometheus官方文档
 Grafana官方文档
 代码地址

posted @ 2020-05-04 18:00 烟味i 阅读(2573) 评论(0) 编辑收藏举报

刷新页面返回顶部

十年磨一剑