绝命一问:秒杀Redis分段锁,如何设计?
文章很长,且持续更新,建议收藏起来,慢慢读!疯狂创客圈总目录 博客园版 为您奉上珍贵的学习资源 :
免费赠送 :《尼恩Java面试宝典》 持续更新+ 史上最全 + 面试必备 2000页+ 面试必备 + 大厂必备 +涨薪必备
免费赠送 :《尼恩技术圣经+高并发系列PDF》 ,帮你 实现技术自由,完成职业升级, 薪酬猛涨!加尼恩免费领
免费赠送 经典图书:《Java高并发核心编程(卷1)加强版》 面试必备 + 大厂必备 +涨薪必备 加尼恩免费领
免费赠送 经典图书:《Java高并发核心编程(卷2)加强版》 面试必备 + 大厂必备 +涨薪必备 加尼恩免费领
免费赠送 经典图书:《Java高并发核心编程(卷3)加强版》 面试必备 + 大厂必备 +涨薪必备 加尼恩免费领
免费赠送 资源宝库: Java 必备 百度网盘资源大合集 价值>10000元 加尼恩领取
绝命一问:秒杀Redis分段锁,如何设计?
尼恩说在前面
秒杀,是一个非常常见的高并发面试题,很多面试官也非常熟悉,上来就让面试者设计一个秒杀系统。
在40岁老架构师 尼恩的读者交流群(50+)中,最近有小伙伴拿到了一线互联网企业如得物、阿里、滴滴、极兔、有赞、shein 希音、百度、网易的面试资格,遇到很多很重要的面试题:
分布式锁,如何实现高并发?
小伙伴 没有回答好,导致面试挂了。
小伙伴面试完了之后,来求助尼恩:如何才能回答得很漂亮,才能 让面试官刮目相看、口水直流。所以,尼恩给大家做一下系统化、体系化的梳理,使得大家内力猛增,可以充分展示一下大家雄厚的 “技术肌肉”,让面试官爱到 “不能自已、口水直流”,然后实现 ”offer自由”。
当然,这道面试题,以及参考答案,也会收入咱们的 《尼恩Java面试宝典》V173版本PDF集群,供后面的小伙伴参考,提升大家的 3高 架构、设计、开发水平。
注:本文以 PDF 持续更新,最新尼恩 架构笔记、面试题 的PDF文件,请到公众号【技术自由圈】获取。
本文目录
问题场景:热点库存扣减问题
秒杀场景,有一个难度的问题:热点库存扣减问题。
-
既要保证不发生超卖
-
又要保证高并发
如何解决这个高难度的问题呢? 答案就是使用redis 分段锁。
首先说说什么是分布式锁,普通分布式锁的不足
比如说在一个分布式系统中,存在客户端多个用户,同时通过多个业务微服务,发起一个数据修改。
如果没有分布式锁机制保证,在那多台机器上的多个服务可能进行并发修改操作,导致数据修改的不一致,出现脏读脏写,这就会造成问题。
而分布式锁机制就是为了解决类似这类问题,保证多个服务之间互斥的访问共享资源,如果一个服务抢占了分布式锁,其他服务没获取到锁,就不进行后续操作。
上图中,客户端1的服务抢占了分布式锁,可以去扣减库存。
其他服务没获取到分布式锁,就不进行后续操作。
什么是分布式锁?
- 当在分布式模型下,数据只有一份(或有限制),此时需要利用锁的技术控制某一时刻修改数据的进程数。
- 用一个状态值表示锁,对锁的占用和释放通过状态值来标识。
分布式锁的条件:
- 互斥性。在任意时刻,只有一个客户端能持有锁。
- 不会发生死锁。即使有一个客户端在持有锁的期间崩溃而没有主动解锁,也能保证后续其他客户端能加锁。
- 具有容错性。只要大部分的 Redis 节点正常运行,客户端就可以加锁和解锁。
- 解铃还须系铃人。加锁和解锁必须是同一个客户端,客户端自己不能把别人加的锁给解了。
普通的分布式锁的如何实现?
分布式锁的实现由很多种,文件锁、数据库、redis等等,比较多;分布式锁常见的多种实现方式:
- 数据库悲观锁、
- 数据库乐观锁;
- 基于Redis的分布式锁;
- 基于ZooKeeper的分布式锁。
在实践中,还是redis做分布式锁性能会高一些
尼恩提示:基于ZooKeeper的分布式锁,请参见尼恩面试宝典 专题15.
尼恩提示:基于redis 的分布式锁,请参见尼恩面试宝典 专题15.
普通分布式锁的性能问题
分布式锁一旦加了之后,对同一个商品的下单请求,会导致所有下单操作,都必须对同一个商品key加分布式锁。
假设某个场景,一个商品1分钟6000订单,每秒的 600个下单操作,
假设加锁之后,释放锁之前,查库存 -> 创建订单 -> 扣减库存,每个IO操作100ms,大概300毫秒。
具体如下图:
可以再进行一下优化,将 创建订单 + 扣减库存 并发执行,将两个100ms 减少为一个100ms,这既是空间换时间的思想,大概200毫秒。
将 创建订单 + 扣减库存 批量执行,减少一次IO,也是大概200毫秒。也就是单个商品而言,只有 5 QPS.
假设一个商品sku的数量是10000,10秒内秒杀完,也就是单个商品而言,需要 单商品 100 QPS,如何应对一个商品的 100qps秒杀。
甚至,如果单商品需要 1000qps秒杀呢?
答案是,使用 分段加锁。
分段加锁的思想来源
分段加锁的思想来源与基础知识。在尼恩的 《Java 高并发核心编程 卷2》 介绍了 JUC的 LongAdder 和 ConcurrentHashMap的源码和底层原理,他们提升性能的办法是: 分段加锁,空间换时间
尼恩经常在技术自由圈社群里边,对小伙伴们强调 基础知识的重要性,反复强调, 《Java 高并发三部曲》 一定要多刷,最好刷三遍。
尤其是 LongAdder 的实现思想,可以用于 Redis分布式锁 作为性能提升的参考设计方案,将 Redis分布式锁 优化为 Redis分段锁。
建议大家提前看看LongAdder ,有关LongAdder 的系统化学习,请参见 《Java 高并发核心编程 卷2》
优化之后:使用Redis分段锁提升秒杀的并发性能
回到前面的场景:
假设一个商品1分钟6000订单,每秒的 600个下单操作,
假设加锁之后,释放锁之前,查库存 -> 创建订单 -> 扣减库存,经过优化,每个IO操作100ms,大概200毫秒,一秒钟5个订单。
如何提高性能呢? 空间换时间
为了达到每秒600个订单,可以将锁分成 600 /5 =120 个段,反过来, 每个段1秒可以操作5次, 120个段,合起来,及时每秒操作600次。
进行抢夺锁的,如果申请到一个具体的段呢?
- 随机路由法
- hash取模法
如果是用随机路由算法,可以将请求随机到一个分段, 如果不行,就轮询下一个分段,具体的流程,大致如下:
这个是一个理论的时间预估,没有扣除 尝试下一个分段的 时间, 另外,实际上的性能, 会比理论上差,从咱们实操案例的测试结果,也可以证明这点。
随机路由法的问题:
不同分端之间,可能库存消耗不均,导致部分用户无法扣减库存,反复进行重试,拖慢系统性能。
如何进一步优化: hash取模法。
第二次优化之后:使用hash取模法,减少库存消耗不均和无效重试
由于秒杀场景的分布式锁,实际上是为了防止超卖, 和库存是强相关的。
所以,可以结合库存,把秒杀的分布式锁进行改进。
第一步: 把redis 的分段方式进行演进,额外增加一个总库存分段锁,用于分配存储剩余的总库存。采用多批次少量分配的思路,通过定时任务,从总库存向分段库存中迁移库存。
第二步:使用hash取模法,把用户路由到某一个分段,如果分段里边的库存耗光了,就去访问剩余的总库存。
库存动态迁移
为了防止分段多库存耗光,大家都去抢占总库存锁。
采用多批次少量分配的思路,通过定时任务,从总库存向分段库存中迁移库存。
至此, hash取模法的分段锁设计方案,已经完美实现。
并且尼恩社群中,已经有小伙伴在生产上完成落地。 以上方案,也是尼恩在给他一对一改简历的时候,分享给尼恩的。
当然,如果大家简历挖掘不出来亮点,也可以找尼恩挖掘, 保证简历金光闪闪、改天换地。
说在最后
秒杀相关的面试题,是非常常见的面试题。
以上的内容,如果大家能对答如流,如数家珍,基本上 面试官会被你 震惊到、吸引到。最终,让面试官爱到 “不能自已、口水直流”。offer, 也就来了。
在面试之前,建议大家系统化的刷一波 5000页《尼恩Java面试宝典》V173,在刷题过程中,如果有啥问题,大家可以来 找 40岁老架构师尼恩交流。
另外,如果没有面试机会,可以找尼恩来帮扶、领路。
尼恩已经指导了大量的就业困难的小伙伴上岸,前段时间,帮助一个40岁+就业困难小伙伴拿到了一个年薪100W的offer,小伙伴实现了 逆天改命 。
技术自由的实现路径:
实现你的 架构自由:
《阿里二面:千万级、亿级数据,如何性能优化? 教科书级 答案来了》
《峰值21WQps、亿级DAU,小游戏《羊了个羊》是怎么架构的?》
… 更多架构文章,正在添加中
实现你的 响应式 自由:
这是老版本 《Flux、Mono、Reactor 实战(史上最全)》
实现你的 spring cloud 自由:
《Spring cloud Alibaba 学习圣经》 PDF
《分库分表 Sharding-JDBC 底层原理、核心实战(史上最全)》
《一文搞定:SpringBoot、SLF4j、Log4j、Logback、Netty之间混乱关系(史上最全)》
实现你的 linux 自由:
实现你的 网络 自由:
《网络三张表:ARP表, MAC表, 路由表,实现你的网络自由!!》
实现你的 分布式锁 自由:
实现你的 王者组件 自由:
《队列之王: Disruptor 原理、架构、源码 一文穿透》
《缓存之王:Caffeine 源码、架构、原理(史上最全,10W字 超级长文)》
《Java Agent 探针、字节码增强 ByteBuddy(史上最全)》