绝命一问:秒杀Redis分段锁,如何设计?

文章很长,且持续更新,建议收藏起来,慢慢读!疯狂创客圈总目录 博客园版 为您奉上珍贵的学习资源 :

免费赠送 :《尼恩Java面试宝典》 持续更新+ 史上最全 + 面试必备 2000页+ 面试必备 + 大厂必备 +涨薪必备
免费赠送 :《尼恩技术圣经+高并发系列PDF》 ,帮你 实现技术自由,完成职业升级, 薪酬猛涨!加尼恩免费领
免费赠送 经典图书:《Java高并发核心编程(卷1)加强版》 面试必备 + 大厂必备 +涨薪必备 加尼恩免费领
免费赠送 经典图书:《Java高并发核心编程(卷2)加强版》 面试必备 + 大厂必备 +涨薪必备 加尼恩免费领
免费赠送 经典图书:《Java高并发核心编程(卷3)加强版》 面试必备 + 大厂必备 +涨薪必备 加尼恩免费领

免费赠送 资源宝库: Java 必备 百度网盘资源大合集 价值>10000元 加尼恩领取


绝命一问:秒杀Redis分段锁,如何设计?

尼恩说在前面

秒杀,是一个非常常见的高并发面试题,很多面试官也非常熟悉,上来就让面试者设计一个秒杀系统。

在40岁老架构师 尼恩的读者交流群(50+)中,最近有小伙伴拿到了一线互联网企业如得物、阿里、滴滴、极兔、有赞、shein 希音、百度、网易的面试资格,遇到很多很重要的面试题:

分布式锁,如何实现高并发?

小伙伴 没有回答好,导致面试挂了。

小伙伴面试完了之后,来求助尼恩:如何才能回答得很漂亮,才能 让面试官刮目相看、口水直流。所以,尼恩给大家做一下系统化、体系化的梳理,使得大家内力猛增,可以充分展示一下大家雄厚的 “技术肌肉”,让面试官爱到 “不能自已、口水直流”,然后实现 ”offer自由”

当然,这道面试题,以及参考答案,也会收入咱们的 《尼恩Java面试宝典》V173版本PDF集群,供后面的小伙伴参考,提升大家的 3高 架构、设计、开发水平。

注:本文以 PDF 持续更新,最新尼恩 架构笔记、面试题 的PDF文件,请到公众号【技术自由圈】获取。

本文目录

问题场景:热点库存扣减问题

秒杀场景,有一个难度的问题:热点库存扣减问题。

  • 既要保证不发生超卖

  • 又要保证高并发

如何解决这个高难度的问题呢? 答案就是使用redis 分段锁。

首先说说什么是分布式锁,普通分布式锁的不足

比如说在一个分布式系统中,存在客户端多个用户,同时通过多个业务微服务,发起一个数据修改。

如果没有分布式锁机制保证,在那多台机器上的多个服务可能进行并发修改操作,导致数据修改的不一致,出现脏读脏写,这就会造成问题。

而分布式锁机制就是为了解决类似这类问题,保证多个服务之间互斥的访问共享资源,如果一个服务抢占了分布式锁,其他服务没获取到锁,就不进行后续操作。

上图中,客户端1的服务抢占了分布式锁,可以去扣减库存。

其他服务没获取到分布式锁,就不进行后续操作。

什么是分布式锁?

  • 当在分布式模型下,数据只有一份(或有限制),此时需要利用锁的技术控制某一时刻修改数据的进程数。
  • 用一个状态值表示锁,对锁的占用和释放通过状态值来标识。

分布式锁的条件:

  • 互斥性。在任意时刻,只有一个客户端能持有锁。
  • 不会发生死锁。即使有一个客户端在持有锁的期间崩溃而没有主动解锁,也能保证后续其他客户端能加锁。
  • 具有容错性。只要大部分的 Redis 节点正常运行,客户端就可以加锁和解锁。
  • 解铃还须系铃人。加锁和解锁必须是同一个客户端,客户端自己不能把别人加的锁给解了。

普通的分布式锁的如何实现?

分布式锁的实现由很多种,文件锁、数据库、redis等等,比较多;分布式锁常见的多种实现方式:

  1. 数据库悲观锁、
  2. 数据库乐观锁;
  3. 基于Redis的分布式锁;
  4. 基于ZooKeeper的分布式锁。

在实践中,还是redis做分布式锁性能会高一些

尼恩提示:基于ZooKeeper的分布式锁,请参见尼恩面试宝典 专题15.

尼恩提示:基于redis 的分布式锁,请参见尼恩面试宝典 专题15.

普通分布式锁的性能问题

分布式锁一旦加了之后,对同一个商品的下单请求,会导致所有下单操作,都必须对同一个商品key加分布式锁。

假设某个场景,一个商品1分钟6000订单,每秒的 600个下单操作,

假设加锁之后,释放锁之前,查库存 -> 创建订单 -> 扣减库存,每个IO操作100ms,大概300毫秒。

具体如下图:

可以再进行一下优化,将 创建订单 + 扣减库存 并发执行,将两个100ms 减少为一个100ms,这既是空间换时间的思想,大概200毫秒。

将 创建订单 + 扣减库存 批量执行,减少一次IO,也是大概200毫秒。也就是单个商品而言,只有 5 QPS.

假设一个商品sku的数量是10000,10秒内秒杀完,也就是单个商品而言,需要 单商品 100 QPS,如何应对一个商品的 100qps秒杀。

甚至,如果单商品需要 1000qps秒杀呢?

答案是,使用 分段加锁。

分段加锁的思想来源

分段加锁的思想来源与基础知识。在尼恩的 《Java 高并发核心编程 卷2》 介绍了 JUC的 LongAdder 和 ConcurrentHashMap的源码和底层原理,他们提升性能的办法是: 分段加锁,空间换时间

尼恩经常在技术自由圈社群里边,对小伙伴们强调 基础知识的重要性,反复强调, 《Java 高并发三部曲》 一定要多刷,最好刷三遍。

尤其是 LongAdder 的实现思想,可以用于 Redis分布式锁 作为性能提升的参考设计方案,将 Redis分布式锁 优化为 Redis分段锁。

建议大家提前看看LongAdder ,有关LongAdder 的系统化学习,请参见 《Java 高并发核心编程 卷2》

优化之后:使用Redis分段锁提升秒杀的并发性能

回到前面的场景:

假设一个商品1分钟6000订单,每秒的 600个下单操作,

假设加锁之后,释放锁之前,查库存 -> 创建订单 -> 扣减库存,经过优化,每个IO操作100ms,大概200毫秒,一秒钟5个订单。

如何提高性能呢? 空间换时间

为了达到每秒600个订单,可以将锁分成 600 /5 =120 个段,反过来, 每个段1秒可以操作5次, 120个段,合起来,及时每秒操作600次。

进行抢夺锁的,如果申请到一个具体的段呢?

  • 随机路由法
  • hash取模法

如果是用随机路由算法,可以将请求随机到一个分段, 如果不行,就轮询下一个分段,具体的流程,大致如下:

这个是一个理论的时间预估,没有扣除 尝试下一个分段的 时间, 另外,实际上的性能, 会比理论上差,从咱们实操案例的测试结果,也可以证明这点。

随机路由法的问题:

不同分端之间,可能库存消耗不均,导致部分用户无法扣减库存,反复进行重试,拖慢系统性能。

如何进一步优化: hash取模法。

第二次优化之后:使用hash取模法,减少库存消耗不均和无效重试

由于秒杀场景的分布式锁,实际上是为了防止超卖, 和库存是强相关的。

所以,可以结合库存,把秒杀的分布式锁进行改进。

第一步: 把redis 的分段方式进行演进,额外增加一个总库存分段锁,用于分配存储剩余的总库存。采用多批次少量分配的思路,通过定时任务,从总库存向分段库存中迁移库存。

第二步:使用hash取模法,把用户路由到某一个分段,如果分段里边的库存耗光了,就去访问剩余的总库存。

库存动态迁移

为了防止分段多库存耗光,大家都去抢占总库存锁。

采用多批次少量分配的思路,通过定时任务,从总库存向分段库存中迁移库存。

至此, hash取模法的分段锁设计方案,已经完美实现。

并且尼恩社群中,已经有小伙伴在生产上完成落地。 以上方案,也是尼恩在给他一对一改简历的时候,分享给尼恩的。

当然,如果大家简历挖掘不出来亮点,也可以找尼恩挖掘, 保证简历金光闪闪、改天换地。

说在最后

秒杀相关的面试题,是非常常见的面试题。

以上的内容,如果大家能对答如流,如数家珍,基本上 面试官会被你 震惊到、吸引到。最终,让面试官爱到 “不能自已、口水直流”。offer, 也就来了。

在面试之前,建议大家系统化的刷一波 5000页《尼恩Java面试宝典》V173,在刷题过程中,如果有啥问题,大家可以来 找 40岁老架构师尼恩交流。

另外,如果没有面试机会,可以找尼恩来帮扶、领路。

尼恩已经指导了大量的就业困难的小伙伴上岸,前段时间,帮助一个40岁+就业困难小伙伴拿到了一个年薪100W的offer,小伙伴实现了 逆天改命 。

技术自由的实现路径:

实现你的 架构自由:

吃透8图1模板,人人可以做架构

10Wqps评论中台,如何架构?B站是这么做的!!!

阿里二面:千万级、亿级数据,如何性能优化? 教科书级 答案来了

峰值21WQps、亿级DAU,小游戏《羊了个羊》是怎么架构的?

100亿级订单怎么调度,来一个大厂的极品方案

2个大厂 100亿级 超大流量 红包 架构方案

… 更多架构文章,正在添加中

实现你的 响应式 自由:

响应式圣经:10W字,实现Spring响应式编程自由

这是老版本 《Flux、Mono、Reactor 实战(史上最全)

实现你的 spring cloud 自由:

Spring cloud Alibaba 学习圣经》 PDF

分库分表 Sharding-JDBC 底层原理、核心实战(史上最全)

一文搞定:SpringBoot、SLF4j、Log4j、Logback、Netty之间混乱关系(史上最全)

实现你的 linux 自由:

Linux命令大全:2W多字,一次实现Linux自由

实现你的 网络 自由:

TCP协议详解 (史上最全)

网络三张表:ARP表, MAC表, 路由表,实现你的网络自由!!

实现你的 分布式锁 自由:

Redis分布式锁(图解 - 秒懂 - 史上最全)

Zookeeper 分布式锁 - 图解 - 秒懂

实现你的 王者组件 自由:

队列之王: Disruptor 原理、架构、源码 一文穿透

缓存之王:Caffeine 源码、架构、原理(史上最全,10W字 超级长文)

缓存之王:Caffeine 的使用(史上最全)

Java Agent 探针、字节码增强 ByteBuddy(史上最全)

实现你的 面试题 自由:

4800页《尼恩Java面试宝典 》 40个专题

免费获取11个技术圣经PDF:

posted @ 2024-02-26 08:58  疯狂创客圈  阅读(929)  评论(0编辑  收藏  举报