PHP秒杀系统全方位设计分析(一)副加流程说明
秒杀系统特点
人多商品少
时间短流量高
外挂机器[黄牛和非黄牛]
技术分析
瞬间高并发的处理能力
多层次的分布式处理能力
人机交互与对抗[12306验证码图片]
技术选型分析
Linux+Nginx+PHP+Mysql+Redis
CDN,智能DNS,分布式缓存,全国多节点,多线路接入
LVS负载均衡
基本功能和流程
后台:活动管理/商品管理/订单管理/日志管理,数据列表和内容的编辑增删(逻辑删除)改查
前台:商品展示/抢购/我的订单/购物车/登录等功能
安全:验证码/回答/分析日志,防攻击、防作弊、防机器人
用户大概访问交互流程
用户进来的时候先看到秒杀商品的展示页面,然后从页面选择商品参与秒杀,参与秒杀时需要提交验证码,验证用户登录状态等之类的验证,把问答或者一些验证信息填完之后就可以提交订单完成秒杀功能,然后等待结果,有可能成功或者失败,提示一些信息,用户能够感知到的秒杀流程。
用户选择想要秒杀的商品,输入了要购买的商品数量,点击提交,这时候我们的秒杀程序就要开始响应了,于是秒杀开始。
先验证用户提交信息,比如还有用户登录状态,验证问答信息或者更多的信息。先验证信息是否对,如果有错误,那么提示错误信息,如果对,那么进入库存验证,如果库存不足,或者活动结束了,提示库存不足,那么秒杀结束。如果订单提交成功,那么生成订单,生成订单时会有订单相关的数据处理,比如库存的更新等。毕竟是并发提交,有可能生成订单也会出现问题,如果生成订单环节出现了问题,即使前面的环节通过,在此环节也会出现问题,比如订单生成的时候,前面的一个人先生成了订单,库存不足了,还会出错,所以在这个环节一定还会有其他的异常信息出现,那么还需要给用户提交错误信息,如果没出错,那么秒杀成功。
以上大概流程是不可或缺的,也是有点粗略。如果我们流程仅仅这几个点的话,那么我们的流程中其实还差的很多。我们在设计过程中,先列出来,还需要根据这几个流程进行补充。
程序运行起来会有几个输入的验证:如问答的验证,用户登录状态验证,用户是否进入黑名单,以及参数的验证,商品信息的参数,活动信息的参数,其他校验信息的参数验证等。
还有输出的验证:异常情况的输出和成功正常情况的输出。
其他情况:比如购买的库存是一种商品的话,在处理的时候要容易一点,会做一下比较。如果是多件商品的话,每个商品就需要每个进行验证。如果商品还有类型的区分,比如手机有好多种型号,那么还需要根据型号处理。有的时候还会涉及到优惠券等等。。
---------------------------------分割线----------------------------------
1、啥是秒杀
秒杀场景一般会在电商网站举行一些活动时遇到。
对于电商网站中一些稀缺或者特价商品,电商网站一般会在约定时间点对其进行限量销售,因为这些商品的特殊性,会吸引大量用户前来抢购,并且会在约定的时间点同时在秒杀页面进行抢购。
2、秒杀系统场景特点
- 秒杀一般是访问请求数量远远大于库存数量,只有少部分用户能够秒杀成功
- 秒杀时大量用户会在同一时间同时进行抢购,网站瞬时访问流量激增
- 秒杀业务流程比较简单,一般就是下订单减库存
3、秒杀架构设计理念
限流: 鉴于只有少部分用户能够秒杀成功,所以要限制大部分流量,只允许少部分流量进入服务后端秒杀程序。
削峰:对于秒杀系统瞬时会有大量用户涌入,所以在抢购一开始会有很高的瞬间峰值。高峰值流量是压垮系统很重要的原因,所以如何把瞬间的高流量变成一段时间平稳的流量也是设计秒杀系统很重要的思路。实现削峰的常用的方法有前端添加一定难度的验证码后端利用缓存和消息中间件等技术。
异步处理:秒杀系统是一个高并发系统,采用异步处理模式可以极大地提高系统并发量,其实异步处理就是削峰的一种实现方式。
内存缓存:秒杀系统最大的瓶颈一般都是数据库读写,由于数据库读写属于磁盘IO,性能很低,如果能够把部分数据或业务逻辑转移到内存缓存,效率会有极大地提升。
可拓展:当然如果我们想支持更多用户,更大的并发,最好就将系统设计成弹性可拓展的,如果流量来了,拓展机器就好了。像淘宝、京东等双十一活动时会增加大量机器应对交易高峰。
4、架构方案
一般的秒杀系统架构
设计思路
将请求拦截在系统上游,降低下游压力:秒杀系统特点是并发量极大,但实际秒杀成功的请求数量却很少,所以如果不在前端拦截很可能造成数据库读写锁冲突,甚至导致死锁,最终请求超时
充分利用缓存:利用缓存预减库存,拦截掉大部分请求
消息队列:这是一个异步处理过程,后台业务根据自己的处理能力,从消息队列中主动的拉取请求消息进行业务处理
前端方案
页面静态化:将活动页面上的所有可以静态的元素全部静态化,并尽量减少动态元素。通过CDN来抗峰值。
禁止重复提交:用户提交之后按钮置灰,禁止重复提交
用户限流:在某一时间段内只允许用户提交一次请求,比如可以采取IP限流
后端方案
服务端控制器层(网关层)
限制uid(UserID)访问频率:我们上面拦截了浏览器访问的请求,但针对某些恶意攻击或其它插件,在服务端控制层需要针对同一个访问uid,限制访问频率。
服务层
上面只拦截了一部分访问请求,当秒杀的用户量很大时,即使每个用户只有一个请求,到服务层的请求数量还是很大。比如我们有100W用户同时抢100台手机,服务层并发请求压力至少为100W。
1、把需要秒杀的商品的主要信息以及库存初始化到redis缓存中
2、做请求合法性的校验(比如是否登录),如果请求非法,直接给前端返回错误码,进行相应的提示
3、进行内存标识的判断(true 已经秒杀结束,false 未秒杀结束),如果内存标识为true,直接返回秒杀结束
4、decr 进行预减库存操作,判断,如果decr后库存量小于0,则把内存标记置为true(已经秒杀结束),且返回秒杀结束
5、判断是否已经秒杀到了,防止重复秒杀,如果重复秒杀,直接返回重复秒杀的错误码
6、发送秒杀到的MQ消息给相应的业务端进行处理,并给用户端返回排队中,如果客户端收到排队中的消息,则自动进行轮询查询,直到返回秒杀成功或者秒杀失败为止
7、相应的业务端进行处理:真正处理秒杀的业务端,再次进行校验(比如秒杀是否结束,库存是否充足等)、将用户和商品id作为key存入redis来标识该用户秒杀该商品成功(上述的第5步会用到)、减库存、生成秒杀订单、返回秒杀成功
注意:就算请求走到了真正处理业务的这一端,也有可能秒杀失败,比如秒杀结束,库存不足,真正减库存失败,秒杀单生成失败等等,一旦失败,则返回秒杀结束
优化
将秒杀接口隐藏:用户点击秒杀按钮的时候,根据用户id生成唯一的加密串存入缓存并返回给客户端,然后客户端再次请求的时候带着加密串过来,后端进行校验是否合法,若不合法,直接返回请求非法;
限制某个接口的访问频率:可以用拦截器配合自定义注解来实现,这么做可以和具体的业务分离减少入侵,使用起来也非常方便
数据库层
数据库层是最脆弱的一层,一般在应用设计时在上游就需要把请求拦截掉,数据库层只承担“能力范围内”的访问请求。所以,上面通过在服务层引入队列和缓存,让最底层的数据库高枕无忧
为防止秒杀出现负数订单数大于真正的库存数,所以在真正减库存,update库存的时候应该加上where 库存>0,而且需要给秒杀订单表加上用户id和商品id联合的唯一索引
--------------------------分割线-----------------
数据库设计
基本的数据模型大概有哪些?
活动信息、商品信息、订单信息、问答信息等模型
---活动信息表
CREATE TABLE `active` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT '活动ID',
`title` varchar(255) NOT NULL COMMENT '活动名称',
`time_begin` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '开始时间',
`time_end` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '结束时间',
`sys_dateline` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '创建时间',
`sys_lastmodify` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '最后修改时间',
`sys_status` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '状态,0 待上线,1 已上线,2 已下线',
`sys_ip` varchar(50) NOT NULL COMMENT '创建人IP',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 COMMENT='活动信息表';
---商品信息表
CREATE TABLE `goods` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT '商品ID',
`active_id` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '活动ID',
`title` varchar(255) NOT NULL COMMENT '商品名称',
`description` text NOT NULL COMMENT '描述信息,文本,要支持HTML',
`img` varchar(255) NOT NULL COMMENT '小图标,列表中显示',
`price_normal` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '原价',
`price_discount` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '秒杀价',
`num_total` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '总数量',
`num_user` int(10) unsigned NOT NULL DEFAULT '1' COMMENT '单个用户限购数量',
`num_left` int(11) NOT NULL DEFAULT '0' COMMENT '剩余可购买数量',
`sys_dateline` int(11) NOT NULL DEFAULT '0' COMMENT '信息创建时间',
`sys_lastmodify` int(11) NOT NULL DEFAULT '0' COMMENT '最后修改时间',
`sys_status` int(11) NOT NULL DEFAULT '0' COMMENT '状态,0 待上线,1 已上线,2 已下线',
`sys_ip` varchar(50) NOT NULL COMMENT '创建人的IP',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8 COMMENT='商品信息表';
---日志记录表[用于做核查]
CREATE TABLE `ms_log` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT '日志ID',
`active_id` int(10) unsigned NOT NULL COMMENT '活动ID',
`uid` int(10) unsigned NOT NULL COMMENT '用户ID',
`action` varchar(50) NOT NULL COMMENT '操作名称',
`result` varchar(50) NOT NULL COMMENT '返回信息',
`info` text NOT NULL COMMENT '操作详情,JSON格式保存,比如:POST,refer, 浏览器等信息',
`sys_dateline` int(10) unsigned NOT NULL COMMENT '创建时间',
`sys_lastmodify` int(10) unsigned NOT NULL COMMENT '最后修改时间',
`sys_status` int(10) unsigned NOT NULL COMMENT '状态,0 正常,1 异常,2 已处理的异常',
`sys_ip` varchar(50) NOT NULL COMMENT '用户IP',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8 COMMENT='秒杀的详细操作日志';
---问答信息表[防止机器人黄牛]
CREATE TABLE `ms_question` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '问答ID',
`active_id` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '所属活动ID',
`title` varchar(255) NOT NULL COMMENT '问题描述',
`ask1` varchar(255) NOT NULL COMMENT '问题1',
`answer1` varchar(255) NOT NULL COMMENT '答案1',
`ask2` varchar(255) NOT NULL,
`answer2` varchar(255) NOT NULL,
`ask3` varchar(255) NOT NULL,
`answer3` varchar(255) NOT NULL,
`ask4` varchar(255) NOT NULL,
`answer4` varchar(255) NOT NULL,
`ask5` varchar(255) NOT NULL,
`answer5` varchar(255) NOT NULL,
`ask6` varchar(255) NOT NULL,
`answer6` varchar(255) NOT NULL,
`ask7` varchar(255) NOT NULL,
`answer7` varchar(255) NOT NULL,
`ask8` varchar(255) NOT NULL,
`answer8` varchar(255) NOT NULL,
`ask9` varchar(255) NOT NULL,
`answer9` varchar(255) NOT NULL,
`ask10` varchar(255) NOT NULL,
`answer10` varchar(255) NOT NULL,
`sys_dateline` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '创建时间',
`sys_lastmodify` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '最后修改时间',
`sys_status` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '状态,0 正常,1 删除',
`sys_ip` varchar(50) NOT NULL COMMENT '发布人的IP',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 COMMENT='问答信息表';
---订单信息表
CREATE TABLE `ms_trade` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT '订单ID',
`active_id` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '活动ID',
`goods_id` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '商品ID',
`num_total` int(10) unsigned NOT NULL DEFAULT '1' COMMENT '购买的单品数量',
`num_goods` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '购买的商品种类数量',
`price_total` decimal(10,0) unsigned NOT NULL DEFAULT '0' COMMENT '订单总金额',
`price_discount` decimal(10,0) unsigned NOT NULL DEFAULT '0' COMMENT '优惠后实际金额',
`time_confirm` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '确认订单时间',
`time_pay` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '支付时间',
`time_over` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '过期时间',
`time_cancel` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '取消时间',
`goods_info` mediumtext NOT NULL COMMENT '订单商品详情,JSON格式保存',
`sys_dateline` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '创建时间',
`sys_lastmodify` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '最后修改时间',
`sys_status` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '状态,0 初始状态,1 待支付,2 已支付,3 已过期,4 管理员已确认,5 已取消,6 已删除,7 已发货,8 已收货,9 已完成',
`sys_ip` varchar(50) NOT NULL COMMENT '用户IP',
`uid` int(10) unsigned NOT NULL COMMENT '用户ID',
`username` varchar(50) NOT NULL COMMENT '用户名',
PRIMARY KEY (`id`),
KEY `uid` (`uid`),
KEY `active_id` (`active_id`),
KEY `goods_id` (`goods_id`)
) ENGINE=InnoDB AUTO_INCREMENT=23 DEFAULT CHARSET=utf8 COMMENT='订单信息表';