阿里云丁宇:云原生激活应用构建新范式,Serverless奇点已来
作者:丁宇
11月5日,2022杭州·云栖大会上,阿里巴巴研究员、阿里云智能云原生应用平台总经理丁宇在云原生峰会上发表主题演讲,提出云原生激活应用构建新范式,并表示Serverless将引领下一代应用架构。 阿里云将坚定推进核心产品全面Serverless 化,帮助客户最大限度的减轻运维工作,更好的实现敏捷创新。
云计算时代,企业上云后,应用构建依然面临很多挑战,如何保障系统资源的弹性、降本增效;如何做到应用敏捷开发,实现业务快速迭代;如何保障系统的稳定以及业务的连续性,这些问题没有完全解决。
我们看到,云原生已经变成非常流行的技术趋势,从上云到用云,云原生能够从PaaS 层面帮助企业解决应用构建的一系列问题。具体有三大范式正在成为现实:
第一个范式是全面容器化。 因为容器形成了运维的标准,成为企业上云用云的新界面,也变成开发者和应用系统交互的新界面,有利于构建高弹性、可伸缩的系统,从而实现降本增效。当下所有的负载都在容器化,包括耳熟能详的微服务、在线应用到整个数据库、大数据、AI、中间件等,所有的工作负载都在容器化。
通过容器,我们可以享受到运维标准化、弹性架构带来的好处,也带来了软件可以无处不在的部署交付,标准化的管理运维。
第二个范式是整个行业应用的核心技术互联网化。 我们正在用互联网的技术、互联网的架构思想来重构应用系统,从而带来了很多好处:分布式可扩展,支撑业务敏捷迭代,构建弹性架构,从容应对流量高峰。
举例来说,准备一场促销活动、一场跨年晚会,都可能有不可预期的流量高峰,数字化系统需要应对不确定的流量,必须要用互联网架构来实现;此外保障系统高可用、高可靠,保障业务的连续性,也是互联网技术能够带给企业的红利。
第三个范式是应用的Serverless化。 从技术角度来看,能够实现技术组件分层解耦,让应用可以做到全托管免运维,提升系统的可运维性,降低成本。通过极致弹性,能够把所有的组件覆盖,在云上构建应用变得非常简单。
以前构建应用,需要买ECS实例,搭建开源软件体系然后维护它,流量大了扩容,流量小了缩容,整个过程很复杂繁琐。用了Serverless服务以后,这些问题都简化了,从半托管到全托管,所有的服务API化,无限容量充分弹性,可以组装使用,能够感受到生产力大幅度的改变。也会在软件开发的全生命周期进行优化,升级研发模式,让开发者更多的聚焦在业务上,加速迭代。
以上这三个范式代表着云原生非常主流的演进方向。
全面容器化:容器服务进入智能化时代
Gartner预测,到2022年,超过75%的全球组织会在他们的生产环境中运行容器化的应用,而这一数据在2020年才不到30%。 我们看到,容器技术已经跨越鸿沟,从早期的互联网行业到现在的千行百业,都在生产系统中使用。
虽然 ACK 大幅降低了K8s的门槛,但管理和运维一个大规模、分布式的集群依然充满挑战,比方说,如何调度应用,在保障稳定的同时,提升资源利用率;如何对应用进行成本规划、分析优化;当集群出现问题后,如何及时的定位和修复。
智能化可以解决这些问题,智能化是容器平台发展的必然趋势。 阿里云基于过去10年的大规模容器实战经验,通过数据化手段和智能化算法,推动容器服务ACK走向智能化。其中有三个升级:
第一个升级,智能化的混部调度,新一代调度系统Koordinator,帮助用户提升整体资源利用率,智能化混部调度助力识货 App节省 20% 资源成本。
第二个升级,智能化的成本治理,容器服务 FinOps套件,帮助用户实现上云成本可见、可控、可优化,中华保险基于容器 FinOps 套件实现资源闲置率从30%降低到 10%。
第三个升级,智能化的运维体验,容器服务 AIOps套件,帮助用户实现数据驱动诊断决策,助力故障防御定位,自动化诊断可以覆盖 90% 以上的问题,得物 App 基于容器 AIOps 套件定位问题时间从周缩短到小时。
这些能力升级,会进一步降低容器技术的使用门槛,让 ACK 做到普惠化,服务更广泛的客户群体。
核心技术互联网化
互联网中间件产品有三个特点:
第一个就是开源全兼容,完全没有厂商锁定,像微服务、消息、服务注册发现、网关等,都是跟开源完全兼容的。
第二个特点是大量的企业级特性加持,包括性能、稳定性、扩展性等。互联网分布式技术的先进性需要非常好的场景锤炼,阿里云的优势就在于多年双11复杂场景的打磨,基于双11的加持以及海量客户的应用,使得阿里云互联网技术在企业级特性上有非常强劲的优势。
第三个特点有丰富的技术类解决方案,包括异地多活,应用容灾的方案、技术中台、业务中台的方案,以及混部、混沌工程和全链路压测方案等。云原生中间件实现了开源、自研和商业化的三位一体,能够助力更多企业使用标准开放的技术实现数字化转型。
重磅发布一 微服务再升级:新增云原生网关开源
云原生时代,微服务面临着新的诉求和技术挑战,尤其是在性能、高可用性和安全性方面。今天,阿里云正式开源云原生网关 Higress,它是业内首个标准化、高集成、易扩展、热更新的云原生网关。
标准化: 随着K8s的普及,K8s Ingress 逐渐成为云原生时代API事实标准, Higress全面支持该标准,并且在服务治理方面(包括灰度、限流、预热、超时、重试)做大幅增强,引领标准演进方向。
高集成: Higress首次将流量网关、微服务网关、安全网关三合一,打造高集成网关,在入口建立高性能、安全防线,后端支持K8s/Nacos/ECS/Serverless多种运行时路由,打造功能最强大网关实现。
易扩展: Higress提供最丰富插件扩展机制,满足客户灵活路由和安全定制需求,支持最全面语言扩展机制;当然我们为了降低客户使用门槛,默认集成了数十个插件,并且通过插件市场方便开发者贡献通用能力,产生良性互动。
热更新: 由于传统Nginx更新规则需要reload会导致链接抖动,导致流量损失,对实时通信、视频、IoT无法容忍,因此Higress 从证书、路由、安全规则、插件全部采用热更新机制,毫秒级生效且业务无感知。
除了开源云原生网关之外,阿里云全面升级微服务引擎MSE3.0,包含三大核心能力:
第一大能力是注册配置中心 , 相比Nacos等主流开源方案,性能提升40%,提供70+的监控指标,提供健康检测,帮助客户实现服务异常自治,例如禾连健康这家医疗行业的SaaS企业,通过MSE注册配置中心,提升开源注册配置中心性能达50%,解决了业务高速发展中的扩展性问题,保障全国 200 多个城市、2000 多家医院体验业务的稳定性超99.99%。
第二大能力是微服务治理 , 沉淀了阿里巴巴10+的实践经验,帮助客户缩短30%微服务治理落地周期,提升50%开发测试效率,消除80%线上风险。例如纺织产业互联网企业致景科技,未修改任何代码就接入了MSE微服务治理所有能力。微服务实施周期下降 30%,构建开发测试环境从天降低到分钟。
第三大能力是云原生网关,阿里云将流量网关、微服务网关、安全网关三合一,架构上也做了升级,将实例级防护升级至路由级防护,整体性能相比传统网关提升90%。例如移动支付企业费芮互动利用MSE构建了零信任架构,大幅提升业务入口安全性,通过软硬一体完成TLS卸载,性能提90%,并采用软硬件一体化,响应时间下降50%。
重磅发布二 可观测再升级:让可观测数据价值最大化
云原生时代,系统架构日趋复杂,提升可观测能力成为降低复杂度的唯一手段。今天可观测能力成为度量企业IT水平的标准,成本治理、业务连续性、业务增长都需要可观测技术。因此阿里云推出云原生可观测套件ACOS,从应用监控到链路追踪,帮助企业实现成本管理、风险治理、智能运维、保障数字化业务高效稳定的运行。
本次云栖大会,阿里云云原生可观测套件ACOS三大组件也迎来重要升级。
首先, Prometheus已成为不少企业的观测首选。 作为容器观测事实标准的Prometheus监控,已成为阿里云50多款云产品的默认观测基础设施,并与应用实时监控服务ARMS的APM指标、eBPF指标、OpenTelemetry 指标联通,将观测范围从专精容器延伸到全栈可观测。
其次,作为观测界面的阿里云Grafana服务也将迎来9.0焕新升级。 全新的Prometheus 和 Loki 查询语句生成器及强化后的搜索 Explore 功能,让用户获得更强的数据查询与分析能力。同时,为了应对越来越丰富的异构可观测数据源,Grafana服务与日志服务SLS、Elasticsearch等20+款可观测存储服务集成,帮助企业更简单的构建统一观测界面。一键导入/导出自建实例、自动数据导出报表,一键数据备份、恢复,用户操作审计等企业特性得到进一步增强。
最后,为了帮助企业的云上应用开启多维度观测视角。 应用实时监控服务ARMS在数据采集方面,OpenTelemetry 与Prometheus生态全面融合,通过 OpenTelemetry 补充业务、自定义组件埋点,在完善观测维度的同时,实现厂商无锁定。并借助 TraceExplorer 实现多来源 Trace 统一查询。
重磅发布三 RocketMQ5.0全面升级:从消息服务到云原生事件流平台
消息队列一直是企业互联网架构的核心组件,阿里巴巴早在2012年就基于电商场景打造了国内流行的消息中间件RocketMQ,并贡献到Apache 社区。历经十余年的打磨,RocketMQ 取得了众多成果。
Apache RocketMQ 的社区非常活跃,全球拥有700+的贡献者,超过75%的头部企业选择使用RocketMQ,同时超过80%的主流云厂商提供了RocketMQ的商业托管服务;阿里云作为 RocketMQ 的发起方和核心贡献者,十多年以来,累计服务了来自互联网、零售、汽车等20多个行业、10w+万企业客户;承载千万级TPS,万亿级消息洪峰。
当下,阿里云 RocketMQ 5.0 正式商业化,从内核到生态全面拓宽,全新升级为云原生事件流平台,深耕事件驱动和事件流处理两大核心场景。在未来,企业开发者基于RocketMQ事件流平台,既可以轻松驱动微服务、Serverless应用;也可以基于RocketMQ重构当下的流处理任务,以更加轻量化、低代码的形态,高效的完成CDC、ETL等流处理需求。
Serverless 奇点已来:引领下一代应用架构
随着企业用云的深入,云的能力也在不断升级,过去企业用云就是去买资源、买实例、买规格、搭应用。我们一直在说“云计算是像水电煤一样的基础设施,但是现在这一点还没有完全实现。阿里云一直在推动产品形态、研发方式的升级,希望从提供资源到提供服务,这个服务就是即插即用的能力,企业不需要管理和维护,可以实现自动伸缩免运维,平台全托管,按用量计费,真正实现了服务化、模块化,这也是云产品升级演进的方向。
可以说,Serverless 奇点己来,所谓奇点,就是由平稳发展转向高速发展的转折点,预示着行业落地开始爆发。目前,阿里云已经有20 多款的 Serverless产品,并且会推进核心产品全面Serverless化,Serverless 是云提供能力的最佳实现方式,也是让云计算基础设施落地到千行百业的最佳范式。
回顾阿里云在Serverless 领域的演进历程:
2017年推出的函数计算是一款FaaS产品,这是一种以事件驱动的全托管计算服务,用户只需编写代码并上传,函数计算就会自动准备好计算资源,以弹性、可靠的方式运行代码,并提供完整的可观测能力,大幅简化开发运维过程。
2018年推出的Serverless 应用引擎SAE是业内首款面向应用的Serverless PaaS平台,屏蔽底层IaaS和Kubernetes的复杂度,提供了零代码改造、成本更优、效率更高的应用托管方案,帮用户实现单体Web应用、微服务应用以及定时任务的Serverless化。
同年领先业界推出 Serverless 容器服务ASK,基于弹性容器实例ECI(Elastic Container Instance),可以实现 1min 扩容 2000个 pod,降低了 Kubernetes 使用门槛,让用户更专注于应用程序,而不是管理底层基础设施。
2020年阿里云开源 Serverless Devs,成为业内首个支持主流 Serverless服务/框架的云原生全生命周期管理的平台。2022年9月该项目正式进入CNCF Sandbox,也成为业内首个入选的Serverless工具项目。
除了产品形态的改变之外, Serverless 同样带来了软件研发范式的改变。 随着阿里云提供越来越全面的Serverless产品以后,很多云产品都变成模块化、API化、服务化,它可以进行组装,通过拖拉拽的方式就能够构建应用。所以说在Serverless架构下,研发方式升级到组装式研发,组装式研发可以做到流程编排、事件驱动,甚至可以做成可视化,这就彻底颠覆了原有的软件研发方式,大幅提升研发效率,灵活应对业务挑战。根据权威机构调研统计,组装式研发相比传统模式,可为研发提效 50%以上。
以南瓜电影为例,因为一场热映电影,南瓜电影一小时用户增加了一百万,流量暴涨引发网站服务一度中断,临时云上扩容也无法及时满足巨大的流量。传统架构没有改变云上的效率,南瓜电影开始转向Serverless架构,三天时间完成了核心应用的上线,第五天100%的切换,第六到七天把核心的30多个应用切换到Serverless上,最终带来扩容效率提升10倍,成本下降超过 40%,研发效率提升 70%,这就是 Serverless 带来的价值:真正让开发者回归业务本身,让企业做得更少而收获更多。
未来,阿里云在云原生领域将持续的引领标准,不断突破,推动领域和产业快速发展。