02 2024 档案
摘要:背景 中午吃完饭回来,刚要准备午休,同事告诉我说现在某个区域的服务出现了故障,Redis无法连接。 Redis我们是部署的哨兵模式,一主两从,哨兵分别部署在另外三台节点,也就是说我们的Redis哨兵一共用了6台机器。 登录服务器查看为什么Redis无法连接,发现Redis只是没有启动而已。怪了,谁会
阅读全文
摘要:背景 为避免再次出现因Prometheus宕机导致业务无法查看历史数据受到影响,准备将Prometheus架构从单节点方式升级为高可用集群方式并将后端存储由本地存储改为远端分布式时序数据库存储。分布式时序数据库采用国产数据库TDengine。 架构 解释:虚线代表Prometheus master节
阅读全文
摘要:背景 Prometheus是业内有名的开源监控工具,我所在的公司也是采用Prometheus+Grafana方式构建监控系统,并且不只是监控运维层面的数据,业务层面的服务状态也通过Java代码的客户端micrometer向Prometheus提交数据并在Grafana上配置出图,方便运营和技术同学进
阅读全文