99 大促来袭,利用 MSE 服务自治体系为业务保驾护航

作者:草谷

前言

业务大促备战是企业必做功课之一,今天趁着 99 大促来袭前,谈一谈如何利用 MSE 的服务自治能力提前发现潜在风险,通过可观测能力了解引擎内部运行状态,并提供自建 Nacos/ZooKeeper 一键迁移上云服务,帮助业务顺利应对大促。

点击查看直播回放:

https://yqh.aliyun.com/live/detail/29401

微服务的挑战

单体到微服务的变化

随着互联网的业务快速增长,进而导致系统的架构也在不断的发生着变化,由最初的单体形态演变到现在最流行的微服务架构;软件架构设计里面没有银弹,享受着微服务带来的扩展性和性能提升,必然要承受它带来的一些副作用,总的来说,主要有以下几点的变化:

  • 调用链路增加了多跳

单体应用的业务逻辑在一个节点进程里面闭环执行完成,微服务架构改造后,不同功能属性的逻辑拆分成一个个服务部署在独立的节点之上,要完成一段完整的业务逻辑,需要每个独立节点互相配合,A->B 变成了 A->B1->B2->B3。

  • 增加了复杂中间件的依赖

微服务架构里面,RPC 是最基本的技术引入,它包含了:RPC 客户端(Dubbo/Spring Cloud),注册中心(Nacos/ZooKeeper/Eureka),如果有事务要求的,还需要依赖一些分布式事务组件如 Seata。

  • 从单兵作战到多团队协作

微服务架构的升级,除了应用系统层面的变化,生产关系也可能产生了变化,以前一个系统由一个人负责,变成了多个服务团队协作开发,互相支持。

1.png

带来的挑战

面对微服务架构带来的变化,给开发者和运维同学带来了不少挑战:

2.png

在日常开发和运维过程中,经常会遇到一些如下的典型问题:

  • 场景一:服务调用失败,Consumer 日志显示没有可用服务,可明明 Provider 进程正常运行着,是服务没注册上去呢?还是注册中心没把地址推送到客户端呢?

  • 场景二:Nacos 客户端在某种极端场景下,出现了异常,排查了半天,是 Nacos 客户端已知 Bug 导致,需要升级到 xx 稳定版本,但是作为开发/运维的你,每天业务需求那么多,如何搞定对客户端版本迭代保持着时刻的关注呢?

  • 场景三:业务大促即将来临,客户端热火朝天的扩容以应对激增的流量,突然间注册配置中心不工作了,原来是达到注册配置中心额定容量了,需要扩容了,每次都是出现问题才后知后觉,然后提前做好容量规划呢?

  • 场景四:线上注册配置中心出现 FullGC,重启又缓解一下,每隔一段时间又出现,排查同学反馈是可能是有客户端错用,大量的读写数据导致内存吃不消,但是又苦于难以找出到底是谁在“捣乱”?

服务自治能力

云原生微服务仍然是目前最热门的技术架构(《40%的云原生开发者专注于微服务领域》),因此解决这部分群体的痛点,能够给企业带来最大的价值,这也是 MSE 的初衷。

阿里巴巴从 08 年开始单体架构演进走到现在,有着十几年的踩坑经验,也总结出了一套打法;MSE 的服务自治能力 ,目标是帮助用户快速发现问题,定位问题,解决问题,它主要围绕以下 3 个方面提供一系列的功能和工具:

3.png

可观测性

可观测性(Observability)是帮助微服务稳健运行的重要一环:

  • “系统是否还是正常的?”
  • “终端用户的体验是否符合预期?”
  • “如何在系统快要出问题之前主动发现系统的风险?”

如果说监控可以告诉我们系统出问题了,那么可观测就可以告诉我们系统哪里出问题了,什么原因导致的问题。可观测不但可以判断系统是否正常,还可以在系统出现问题之前,主动发现系统风险。

4.png

  • 监控大盘

MSE 提供了丰富的监控大盘,无缝集成 ARMS,免费为大家提供了丰富的可观测能力,可以借助这些指标,窥探容量情况,尽早发现问题,定位问题:

5.png

1. 基础大盘

提供了基础设施的一些核心指标,主要如下:

  • JVM 监控
  • 内存/CPU
  • 网络流量

针对这些基础核心指标,建议至少要把内存/CPU 的预警给加上,阀值设置到 60%。

如果你的应用是时延敏感的,需要重点关注下 JVM 监控中的 FullGC 指标,这个会导致进程响应变慢。

网络流量指标,可以用来观测 SLB 的网络问题,例如流量突然涨到某个点,然后一直横盘,这时你的客户端也相应出现链接失败异常,这个就可能是达到了流量阀值。

6.png

2. 概览大盘

概览大盘的指标,主要的目的是给大家快速展示一些核心的指标,能够有一个全局的视角:

  • 客户端分布
  • 当前配置/服务水位
  • 链接数
  • 配置/服务数

其中,客户端分布指标,可以帮助你看到系统中各种客户端版本的分布情况,结合 Nacos 的版本使用限制,找到高危版本,推动解决掉客户端带来的稳定性风险。

例如:近期 Nacos 发布了最新的版本使用约束,Nacos 1.4.1 版本有严重的 DNS 解析异常问题,可以通过客户端分布指标,找到该客户端分布的情况,通知对应的业务进行升级。

7.png

3. 业务大盘-Nacos 服务/配置大盘

MSE 提供的业务大盘里面的指标,都是精挑细选出来具有代表性的,能够帮助你全面了解注册配置中心的内部业务规模;大促来临,公司要求你评估注册配置中心当前容量规模,你可以通过这些指标数据进行一个全面的分析。Nacos 的使用场景分为注册中心和配置中心,MSE 根据这 2 个场景单独设置了大盘:

配置中心指标:

  • 配置数量
  • 配置监听数量
  • 配置的 TPS/QPS
  • 读写 RT

8.png

注册中心服务指标:

  • 服务提供者/订阅者数量
  • 注册中心 QPS/TPS
  • 注册中心读写 RT
  • 推送成功率/耗时/TPS

9.png

4. ZooKeeper TopN 大盘

TopN 大盘,对外部因素导致了服务端出现异常类的问题定位是非常高效的:

  • Znode 的大小 Top N 排序
  • 客户端对 ZooKeeper 的读写 TPS/QPS Top N
  • 热点数据的 TPS/QPS Top N
  • 热点数据的监听数 Top N

在日常开发中,你大概率遇到过 ZooKeeper FullGC 的场景,但是又不知道是具体什么原因引起的 GC,可能是 ZooKeeper 在推送大量数据导致,又不确定是哪个热点数据被订阅导致的,也可能是有客户端往 ZooKeeper 里面写大数据,又找不到是哪个客户端写的?

我们看下 2 个客户端典型错用的场景:

  1. 户端错用写入了大数据,订阅者非常多,导致 ZooKeeper 推送大量数据引起了 FullGC:

往/99testWriteBig 路径下面写入了大数据,可以通过 Znode 大小 TopN 发现大数据节点

10.png

  1. 客户端错用频繁读某 ZK,导致集群性能压力增加,响应延时,需要找到这个客户端:

一个 SessionId 为:0x1030871c8ed0004 的客户端,频繁读取/99testRead 节点,通过客户端 QPS TopN 大盘,可以找到它,同时也能看到这个当前 Server 中最频繁读取的是哪个数据

11.png

  • 指标预警

MSE 给注册配置中心提供了核心指标的预警能力,建议把如下的指标都配置上:

  • Nacos 建议配置:
    • 服务读写平均耗时:可以发现性能问题
    • 配置长轮训链接数:可以发现容量问题
    • 服务数/配置数:可以发现容量问题/客户端错用
  • ZooKeeper 建议配置:

    • Znode 数:可以发现客户端错用
    • 连接数变化率:突降的话服务端节点可能出现了故障
    • 单服务端链接数:可以发现容量问题/客户端错用

12.png

13.png

链路追踪

  • 推送轨迹

推送轨迹,是指注册配置中心从 server 端到 client 端的一次推送链路上的相关信息展示。推送轨迹可以让用户非常方便的查询到,当开发过程中,出现如下问题,都可以通过推送轨迹快速定位到,极大的提高问题的排查效率:

  • 客户端未收到服务推送
  • 服务间调用出现异常
  • 配置发布异常了
  • 配置修改完发现某台机器不生效
  • 需要查看配置中心变更及推送事件

14.png

MSE - Nacos 注册中心推送轨迹查询页面

15.png

MSE - Nacos 配置中心推送轨迹配置维度查询页面

集群诊断

  • 一键诊断

如果说 MSE 提供的各种监控大盘,是辅助你去发现,定位问题,那么 MSE 即将提供的一键诊断功能,就是自动帮你去扫描发现风险,2 者互相配合辅助,它目前主要从下面 3 个方面去做评估:

16.png

下图是一键诊断的功能页面,从上面可以看到目前你当前购买的引擎存在的风险,这些都是根据内置规则给自动扫描出来的,你不用再去人肉进行排查了,并且提供了合理的建议给到你进行改进:

17.png

平滑迁移 MSE

上面给大家介绍的 MSE 服务自治功能,后续将继续完善打磨,提供更多的自治能力,包括事件统计、健康审计等功能,降低注册和配置中心的问题排查难度、提升可用性。

如果你现在还是自建的注册配置中心,建议尽快迁移上云,享受这些企业级服务,MSE 提供了高效的迁移工具 MSE Sync,提供双向同、自动服务获取、一键同步全部服务等能力,帮助用户更好的完成 Nacos、Zookeeper 注册配置中心的迁移。

18.png

MSE 的官网文档,提供了详细的 Step by Step 的迁移操作文档:

《自建 Dubbo ZooKeeper 迁移到 MSE ZooKeeper》

https://help.aliyun.com/document_detail/444943.html

《自建 Dubbo ZooKeeper 注册中心迁移到 MSE Nacos》

https://help.aliyun.com/document_detail/446904.html

《自建 Dubbo Nacos 注册中心迁移到 MSE Nacos》

https://help.aliyun.com/document_detail/445140.html

如果迁移过程遇到问题或者需要定制,可以联系我们提供专家一对一的迁移支持。

购买 MSE 享受企业级服务

MSE 提供了 高可用、高性能、安全易用等核心竞争力!

19.png

20.png

posted @ 2022-08-29 17:21  阿里云云原生  阅读(70)  评论(0编辑  收藏  举报