流控算法详解
概述
流控指控制系统流量的平均速度,一般会为系统设置一个阀值,对阀值内的流量正常处理,如果流量超过这个值,就对超出阀值部分的流量进行拒绝或丢弃操作,保障系统不被冲量冲垮
工作中常用的流控算法有固定窗口算法、漏桶算法和令牌桶算法
固定窗口算法
固定窗口算法指设定一个时间窗口,给这个时间窗口设定一个阈值,同时实时统计用户在这个时问窗口上的流量,当用户的流量达到阈值时对用户的流量进行限流,在时间窗口到期后重新创建一个时间窗口重新统计
固定窗口算法存在漏洞:当有很多用户请求都调用失败,等待窗口到期时,一旦窗口,则大量的用户请求涌入,进而形成“消息踩踏”事件。比如时间窗口为 10s、窗口大小为 1000 条,在 5s 左右客户端使用完了所有请求流量,这时所有客户端请求都将处于 Block 状态。时间窗口到期后,系统会重新创建一时间窗口。由于新创建的时间窗口的流量从零开始统计,所以刚才处于 Block 状态的客户端请求立即涌入系统,形成“消息踩踏”事件
所以,时间窗口能够保障各个窗口的流量均等,但是对于窗口内部的某个时刻突发流量上涨的情况,时间窗口算法不能很好地限流
漏桶算法
漏桶算法主要用于控制流量速度,应对突发流量。当用户请求系统时,首先将用户请求放在一个漏桶,处理器从漏桶以一定的速度获取数据并处理请求,当请求量过大且超过漏桶容量时,桶内的流量会直接溢出,丢弃超出漏桶容量的流量
我们可以将漏桶算法简单理解为一个先进先出的消息队列,当队列填满数据时,请求将被抛弃。队列不保证某个时间点内的请求一定会得到处理,往往是在系统一段时间内的处理能力有限时,起到削蜂填谷的作用
令牌桶算法
令牌桶算法首先会创建一个桶用于存放令牌,每秒会有 x 个令牌被放入桶中,最多存放 n 个令牌,如果桶满了,那么新到来的令牌会被丢弃。每收到一个请求,就从令牌桶中获取一个令牌,如果获取到令牌就对请求进行处理。如果在令牌桶中没有可用的令牌,就把这些请求丢弃
在令牌桶算法中,只要在令牌桶中存在可用的令牌,就允许突发流量的到来,直到流量达到用户配置的限额。所以比起漏桶算法,采用令牌桶算法能应对突发流量的情况
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 没有源码,如何修改代码逻辑?
· PowerShell开发游戏 · 打蜜蜂
· 在鹅厂做java开发是什么体验
· 百万级群聊的设计实践
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战
2023-09-02 微服务网关 —— SpringCloud Gateway