分布式系统的技术栈
分布式系统的技术栈
构建分布式系统的目的就是增加系统的容量,提高系统的可用性,转换技术方面,就是以下两点:
- 大流量处理。通过集群技术把大规模并发请求的负载分散到不同的机器上。
- 关键业务保护。提高后台服务的可用性,隔离故障,防止多米诺骨牌效应(雪崩效应)。如果流量过大,需要对业务降级,以保护关键业服务的流转。
说白了就是干两件事,一是提高服务架构的整体吞吐量,服务更多的流量和并发。二是提高系统稳定性,让系统的可用性更高。
提高系统性能常用的技术手段
- 缓存系统
缓存在前端的浏览器,网络,后台的服务,底层的数据库,文件系统,cpu和硬盘,全都存在。在分布式系统下的缓存系统是需要一个缓存集群,这其中就需要一个Proxy来做缓存的分片和路由。 - 负载均衡
负载均衡是系统水平扩展的关键技术,它可以使多台机器共同承担一部分请求。 - 异步调用
异步系统通过消息队列来对请求做排队处理,这样可以把前端的请求的峰值给“削平”了,后端通过自己能够处理的速度来请求,这样可增加系统吞吐量。但是实时性能会差很多,而且会引入消息丢失问题,所以
要对信息做持久化,这样就成为了“有状态大的节点”,从而增加了服务调度的难度。 - 数据镜像和数据分区
数据分区是把数据按一定规则分成多个区(比如按地域位置不同),不同的数据区来分担不同区的流量。这需要一个数据路由中间件,会导致跨库的join和跨库的事务,非常复杂。
数据镜像是把一个数据库镜像成多份一样的数据,这样就不需要数据路由中间件了,在任何一个节点上进行读写,内部会进行数据同步。数据镜像最大的问题就是数据一致性。
提高系统稳定性的技术手段
- 服务拆分
服务拆分的目的是为了隔离故障、重用服务模块,但服务拆分后会引入服务调用间的依赖问题。 - 服务冗余
服务冗余是为了去处单点故障,并可以支持服务的弹性伸缩,以及故障迁移。 - 限流降级
当系统实在扛不住压力时,只能通过限流或者降级的方式来停掉一部分服务,或是拒绝一部分用户请求,以确保整个架构不会挂掉。 - 高可用架构
高可用架构是从冗余架构角度来保障可用性。比如多租户隔离,灾备多活,或是数据可以在其中复制保持一致性的集群。总之是为了不出单点故障。 - 高可用运维
DevOps中的CI/CD
分布式系统的关键技术
服务治理,架构软件管理,DevOps,自动化运维,资源调度管理,整体架构监控,流量控制
分布式系统的纲
分布式系统有5个关键技术:
- 全栈系统监控
- 服务/资源调度
- 流量调度
- 状态/数据调度
- 开发和运维自动化 (需要把前四项都做了才能实现这一项)
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本