限流及常用算法
适用场景
当系统需要应用高并发的冲击时,一个最常用的策略是使用缓存提高系统容量,这通常是效果最好的方式,但如论如何提升系统容量,都会存在一个QPS/TPS的阈值,超过该阈值则认为系统不再稳定,因此需要采取措施屏蔽掉这些请求,达到系统稳定可用的目的。
实现这一目标的常见策略为限流:
限流,顾名思义就是限制流量的意思,既然支撑不了,那就不要死撑,而是采用拒绝服务、排队、降级等手段保证核心功能稳定可用。
限流一般分为两个层次:
- 系统级
- 现在系统庞大和复杂,系统级限流也即在系统入口处,根据限流策略,限流总并发,连接,请求数等,通常使用Nginx实现。
- 应用级
- 可以限流应用级的并发,总资源数,某时间窗口访问数等,实现起来非常灵活,主要思想基于令牌桶,漏桶等算法
令牌桶算法
一个固定大小存放令牌的桶,按照固定的速率往桶中添加令牌,如果到达一个请求,则从桶中拿走一个另外,如果桶中没有令牌,则请求返回或排队。令牌桶可以应用瞬时流量冲击(令牌桶满的时候)

漏桶算法
漏桶算法也很好理解,桶的底部有一固定大小的孔,因此可以以固定流量流出,桶的顶部可以以任意速率向其中流入,直到桶满。漏桶算法常用于流量整形(平滑流量),无论外部请求如何密集,系统以固定速率处理,保证系统不会被瞬时流量压垮。

除此之外,也可以使用计数器进行限流,主要用于限制总并发数,如数据库连接池、线程池等都是计数器的用法,只要全局流量达到一定阈值则进行限流。
实现思路
由于我们的应用基于Spring框架实现,对接口级别的限流很容易想到使用切面来实现。主要思路有:
- 根据配置文件,采用单例模式,构建每个受控方法的令牌桶对象
- 使用AOP拦截对Controller层方法的访问
- 检查令牌桶中是否由令牌,如果没有则返回,有则继续

【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 单线程的Redis速度为什么快?
· 展开说说关于C#中ORM框架的用法!
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· Pantheons:用 TypeScript 打造主流大模型对话的一站式集成库
· SQL Server 2025 AI相关能力初探