限流及限流算法

使用场景

限流是高并发的处理方法之一。

高并发处理方案：　
缓存：缓存的目的是提升系统访问速度和增大系统处理容量。
降级：降级是当服务出现问题或者影响到核心流程时，需要暂时屏蔽掉，待高峰或者问题解决后再打开。
限流：限流的目的是通过对并发访问/请求进行限速，或者对一个时间窗口内的请求进行限速来保护系统，一旦达到限制速率则可以拒绝服务、排队或等待、降级等处理。

令牌桶算法：

• 一个存放固定容量令牌的桶
• 按照固定速率往桶里添加令牌。
• 桶中最多存放指定个数的令牌，当桶满时，新添加的令牌被丢弃或拒绝；
• 令牌桶允许突发的多个请求，只要有令牌就可以处理，支持一次拿3个令牌，4个令牌。

漏桶算法：

漏桶算法，通常使用 先进先出(FIFO) 队列来实现。
漏桶算法，有一个固定容量的漏桶。

• 当一个请求到达时，会先检查桶是否已满。如果没有满，就将请求添加到队列中。如果满了，就丢弃请求。
• 定期从队列中取出请求进行处理。

滑动窗口算法

滑动窗口算法：将时间窗口分为多个小窗口，每个小窗口都有自己的计数器。随着时间的滑动，过期的小窗口数据被删除，这样可以更精确地控制流量。

滑动窗口所允许通过的请求数：当前窗口的请求数 + 之前窗口的请求数* 滑动窗口和之前窗口的重合率。

滑动窗口算法的优点：

• 平滑了流量中的波动，当前时间窗口内请求的速率是基于前一个时间窗口内请求的平均速率计算出来的
• 对内存的使用很高效。

参考资料

《搞定系统设计》
《凤凰架构》
https://zhuanlan.zhihu.com/p/689922080