Grafana 的性能告警-高效获取性能测试指标问题

做性能测试的时候大部分公司都会使用 prometheus+grafana 监控平台对性能测试结果进行监控。这个grafana的监控大屏可以很有效的查看到所有历史数据以及趋势变化。但是如果做的是长时间的稳定性测试,要一直盯着屏幕监控也不太现实,所以我们希望这个监控的指标一旦有异常能给我们通过发送消息或者邮件的形式进行告警,这样就可以及时获取性能异常的问题进行分析和调优。

一、Grafana告警体系

Grafana可以配置告警规则,定时去检查监控的指标,并根据配置的规则去发送告警信息。这个告警信息可以集成很多第三方的软件:比如钉钉,企业微信,邮箱等。

集成企业微信发送grafana的告警消息:

第一步: 添加企业机器人

添加完成后,复制一下webhook的地址以备后续使用。

第二步:登录grafana,配置告警渠道。

选择Alerting菜单,点击进去后选择- Add contact point,添加新的告警渠道:

保存后这个渠道会显示在列表里。我们把这个渠道配置为默认的:

点击Notification Policies-->edit-->

第三步: 添加告警通知规则

选定要告警的目标: 动态变化的指标才会去进行告警,固定不变的图不需要告警,所以一般选择折线图配置告警。比如我们选择硬件资源的监控模板里的内存使用率的图:

添加告警的规则: 点击具体的折线图--edit--添加告警的规则alert--虚着呢指标采集项

配置完上面的之后,点击保存并退出:

在这个面板的编辑页面就可以看到一条告警规则:

规则有三种状态:

  • normal: 正常的状态
  • pending:挂起状态,异常了但是还没有持续满足时间
  • firing:告警通知状态,已经异常指标持续到了配置的时间长,就会发起告警了。

第四步:执行压力测试,触发告警

如果施加压力,当内存使用率超过配置的阈值:80%的时候,就会变成黄色的爱心:

当超过阈值达到配置的时间长后:5min,就会变成红色并触发告警通知信息。

企业微信会收到告警通知信息如下:

 

posted @   刑之风  阅读(8)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· 【.NET】调用本地 Deepseek 模型
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
点击右上角即可分享
微信分享提示