Java 高并发项目笔记

maven 配置与安装

下载maven 文件
解压之后,将文件移动到\Applications文件夹内

使用cd ~ 进入根目录文件夹用ls -a列出文件夹内的所有文件，找到一个名称为.bash_profile的文件，打开该文件来配置环境变量

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-10.0.2.jdk/Contents/Home
export MAVEN_HOME=/Applications/apache-maven-3.5.4
export PATH=$PATH:$MAVEN_HOME/bin

配置完之后添加/调整
商家 -> 库存
<-
发货/核账source .bash_profile编译一下然后在命令行之中用mvn - v来检查一下是否安装成功

配置环境变量
注意默认的cd ~可能不是根目录而是当前用户的目录 User\auguskong\

mvn archetype:generate -DgroupId=org.seckill -DartifactId=seckill -DarchetypeArtifactId=maven-archetype-webapp

修改servlet版本为3.1

秒杀系统业务分析

 添加(+)/调整(+/-)

商家 -> 库存
<-
发货/核账

 付款(-)/退货(+)

用户 -> 库存
<-
秒杀/预售

秒杀业务的核心在于库存的处理

用户：

【减库存 + 记录购买明细】
|
【完整事务】谁 + 时间/有效期 + 付款/发货信息
|
【数据落地】

为什么需要事务？ -> 事务机制依然是最可靠的数据落地方案
考虑一下情景:
减库存没有记录购买明细?
记录了购买明细但是没有减库存?
出现超卖/少买?

秒杀系统难点分析 -> 竞争
同一时间多个用户购买

事务 + 行级锁

Start Transaction
Update 库存数量
Insert 购买明细
Commit

update table set num = num - 1 where id = 10 and num > 1

数据库设计与编码

数据库路径设置
export PATH=$PATH:/usr/local/mysql/bin/

BUG!! 中英文输入法的问号意义不一样必须使用英文的问号！！

使用 mysql -u root -p 来打开mysql面板
show create table seckill\G 查看如何创建这个表

手写DDL
记录每次上线的DDL修改
--上线V1.1
ALTER TABLE seckill
DROP INDEX idx_create_time,
add index idx_c_s(start_time, create_time);

DAO实体和接口编码

TABLE -> ENTITY 表对应java类列对应java类当中的属性

Command + N 打开generate 可以让编译器自动生成getter 和 setter 方法

MyBatis 映射

数据库 -> 映射 -> 对象

为什么可以过滤重复？联合主键是？？
联合主键里面有电话号码，由主键不允许重复的特性保证了不存在两个相同的电话号码，可以防止一个用户重复秒杀

4-3 基于MyBatis实现DAO理论
MyBatis, Hibernate, JDBC 都是做映射的工作对象关系映射？

MyBatis 特点

需要提供参数 + SQL(SQL必须用户来写)

SQL写在哪?

1.【推荐】XML当中
2.注解提供SQL (注解本身还是Java源码且SQL存在拼接时很麻烦) @SQL Java 1.5之后提供
注解的缺点: 注解本质上也是Java源码，需要编译之后才能执行复杂拼接逻辑会很复杂

如何实现DAO接口?
1.【推荐】Mapper 自动实现DAO接口这样可以只关注于SQL接口，
2.API编程方式实现DAO接口

写三个SQL

自己控制SQL

MyBatis整合Spring的过程

目的:
使用更少的编码：原则是只写接口，不写实现（实现是MyBatis自动实现)
Seckill queryById(long id)
接口参数
名字代表行为
接口返回类型表示结果集
更少的配置:
* MyBatis 自动找到包名减少了包名的代码
* 自动扫描配置文件减去配置维护成本

保存足够的灵活性：自己定制 SQL + 自由传参

默认

DAO层单元测试编码和问题排查

import org.junit 文件包不存在的问题

//使用@Param 注解来告知MyBatis 相关参数的名字
List<Seckill> queryAll(@Param("offset") int offet, @Param("limit") int limit);

MyBatis和Spring的整合就在于配置文件的设置

 public void insertSuccessKilled() {
        long id = 1001L;
        long phone = 13421234569L;
        int insertCount = successKilledDao.insertSuccessKilled(id, phone);
        System.out.println("insertCount= " + insertCount);
    }

报错空指针异常

命令行命令:

ifconfig可以查看本地IP地址
MySQL 8.0当中设置密码的新语法 SET PASSWORD FOR 'jeffrey'@'localhost' = 'auth_string';
按两次shift快速查找project当中的文件

bug log:

URL is not registered

mapper里面笔误 parameterType 改为resultType
mybatis config文件里面笔误

确定mysql的版本是和本机版本相同进入mysql命令行之后输入select version() 或直接在进入时看初始加载信息

数据库连接失败可能原因:

jdbc.properties 配置错误：
1. jdbc.driver: 注意check manual确保命令正确
2. jdbc.url:
3. username + password
未授权远程访问或没有访问权限需要通过SQL GRANT进行相关操作
项目未引入对应版本的驱动jar包，配置文件的设定 mysql-connector-java-5.1.6-bin.jar

因为没有设定时区而导致了bug, 这个有点扯淡了
jdbc.url=jdbc:mysql://localhost/seckill?useSSL=false&serverTimezone=UTC&useUnicode=true&characterEncoding=utf8

DAO层编码
编写接口
逻辑代码一行没写

有什么好处？

DAO层演变为接口设计 + SQL编写
代码和SQL的分离
DAO拼接等逻辑在Service层完成逻辑放在Service层当中
对远程存储系统做操作的放在DAO层

秒杀Service接口设计

常量中的数据字典？使用枚举来表示常量数据字段？？

站在使用者的角度设计接口
配置是一次性工作

不优雅的代码
return new SeckillExecution(seckillId, 1, "秒杀成功", successKilled);
数据字典使用枚举进行优化

使用Spring托管Service依赖理论

Spring IOC功能理解

对象工厂: 创建对象的过程 SeckillService
依赖管理:
通过使用Spring 得到一致性的访问接口

为什么要用IOC:

对象创建统一托管：不再使用New关键字
规范的生命周期管理 CRUP每个阶段都可以进行添加更新逻辑创建好之后，再加入其它方法添加属性或修改之前New的方式会导致混乱
灵活的依赖注入：多种方式实现：1.可以通过注解 2.application context 3.第三方框架自动整合
一致的获取对象方式：可以用容器当中任意的已知对象示例，默认都是单例

Spring-IOC注入方式和使用场景

XML	注解	Java配置类
举例	MyBatis整合时	DAO Service类中加入注解
场景	Bean 实现类来自第三方类库时2.需要命名空间配置,如context,aop,mvc等	项目当中自身开发使用的类，可以直接在代码中使用注解 @Service@Controller

本项目IOC使用:

XML配置
package-scan一个机制，MyBatis扫描特定DAO
Annotation注解

Service层的依赖注入，包扫描 + 添加注解@Autowired

//新建一个spring-service.xml文件
<!-- 扫描Service包下所有使用注解的类型 -->
<context:component-scan base-package="org.seckill.service"/>

// 注入Service依赖
    @Autowired //Spring一直使用的注解 自动在DAO中查找seckillDao 其它@Resource, @Inject
    private SeckillDao seckillDao;

    @Autowired
    private SuccessKilledDao successKilledDao;

配置并使用spring声明式事务

目的：不用写支持事务操作的代码交给第三方框架进行操作

流程：

开启事务
修改SQL-1
修改SQL-2
.....
提交/回滚事务

ProxyFactoryBean + XML -> 早期2.0使用方式

tx: advice+aop命名空间方式 -> 一次配置永久生效

【推荐：掌握一定的控制权】注解@Transactional -> 注解控制

事务方法嵌套: 声明式事务独有的概念,和MySQL本身事务无关

传播行为默认为propagation_required，当有一个新的事务加入进来，先判断是否是已经存在的事务，如果已经存在直接加，否则新建一个新事物

什么时候回滚事务？

当方法抛出运行期异常(RuntimeException) 可以回滚非运行期异常不会回滚
小心不当的try-catch代码

配置声明式事务

bug log: 配置文件的顺序不对，导致无法定位<tx:annotation-driven transaction-manager="transactionManager"/> 语句

http://www.springframework.org/schema/tx
http://www.springframework.org/schema/tx/spring-tx.xsd

logback官方文档配置
https://logback.qos.ch/manual/configuration.html

继承测试的优化

try catch语句来改变更改集成测试的成功失败判定标准

//集成测试代码
 @Test
    public void testSeckillLogic() {
        long id = 1000;
        Exposer exposer = seckillService.exportSeckillUrl(id);
        if (exposer.isExposed()) {
            logger.info("exposer={}",exposer);
            long phone = 12343232331L;
            // 将Md5的生成和使用集合到一起
            String md5 = exposer.getMd5();
            // 定义两个可允许的异常: 1.重复秒杀 和 2.秒杀已关闭异常 只提出警告而不认为属于测试失败
            try {
                SeckillExecution execution = seckillService.executeSeckill(id, phone, md5);
                logger.info("result={}", execution);
            } catch (RepeatKillException e) {
                logger.error(e.getMessage());
            } catch (SeckillCloseException e) {
                logger.error(e.getMessage());
            }
        } else {
            // 秒杀未开启
            logger.warn("exposer={}",exposer);
        }
    }

Web层开发

前端交互设计流程

交互设计
Restful - Swagger?
SpringMVC配置设计与实现
Bootstrap + jQuery

产品 -> 前端 -> 后端(存储 + 展示)

前端页面流程:
列表页 -> 详情页 -> login -> 展示逻辑 ->
-> 登录操作 ->写入cookie ->展示逻辑

详情页流程逻辑
1.获取标准系统时间(服务器端) 进行时间判断
开始之前：倒计时不可以得到秒杀地址
秒杀中：直接得到秒杀地址有一个秒杀按钮 - 执行秒杀 - 后端交互
结束之后：秒杀结束

Restful接口设计:
兴起于Rails,一种优雅的URI表述方式，表示一种资源的状态和状态转移

几个示例:
GET /seckill/list
WRONG: POST /seckill/execute/{seckillId}
RIGHT: POST /seckill/{seckillId}/execution seckill:资源的模块 Id:表示具体的秒杀资源 execution: 执行器执行秒杀操作用名词 POST表示状态的转移

WRONG: GET /seckill/delete/{id}
RIGHT: DELETE /seckill/{id}/delete

Restful 规范:
GET: 查询
POST: 添加和修改非幂等
PUT: 修改操作幂等
DELETE: 删除操作

URL设计
/模块/资源/{标识符}/集合{id}/
/user/{uid}/friends 好友列表
/user/{uid}/followers 粉丝列表

秒杀API设计
GET /seckill/list 秒杀列表
GET /seckill/{id}/detail 详情页
GET /seckill/time/now 系统时间
POST /seckill/{id}/exposer 暴露秒杀
POST /seckill/{id}/{md5}/execution 执行秒杀

基于系统业务进行设计可以工程师部门进行交互直接通过URL体现接口使用者外部系统用户

Spring MVC理论

围绕Handler进行开发
Handler的产出包括:

Model
View

SpringMVC运行流程:
1.用户发送请求 -> DispatcherServlet 拦截所有请求
2. DispatcherServlet 使用DefaultAnnotationHandlerMapping进行URL的映射 URL -> Handler
3. DefaultAnnotationHandlerAdapter 用来做Handler适配 -> 匹配我们自己根据业务逻辑开发的代码 SeckillController
4. SeckillController 产出: ModelAndView 例如/seckill/list会产生一个秒杀产品的list页面并交给DispatcherServlet
5. DispatcherServlet 通过InternalResourceViewResolver判断这个list页面和哪个Model匹配，并将该Model和list.jsp文件进行结合
6. 将list.jsp返回给用户

HTTP请求地址映射原理

HTTP 请求先发送到 Servlet容器之中(如Tomcat, Jetty) SpringMVC有一个Mapping 用注解做映射 Annotation Handler Mapping -> 对应到一个Handler 方法之中

注解映射技巧

@RequestMapping注解:
1.支持标准的URL
2.Ant风格URL ?一个 *任意个 **任意URL路径
3.带{xxx}占位符的URL
例如:
/user/*/creation 匹配 user/aaa/creation /user/bbb/creation 等
/user/{userId} 匹配 user/123 user/abc等
/company/{companyId}/user/{userId}/detail 匹配 /company/123/user/456/detail等

请求方法的细节处理

请求参数绑定
请求方式限制
请求转发和重定向
数据模型赋值
如何返回JSON数据
cookie的访问

@RequestMapping(value="/{seckillId}/detail", method = RequestMethod.GET)
//@PathVariable 来完成URL参数的绑定 method = ... 来实现方法的绑定
public String detail(@PathVariable("seckillId") Long seckillId, Model model) {
    if (seckillId == null) {
//redirect 和 forward 关键词表示冲顶县还是转发
        return "redirect:/seckill/list";
    }
    Seckill seckill = seckillService.getById(seckillId);
    if (seckill == null) {
        return "forward:/seckill/list";
    }
    //model关键字调用
    model.addAttribute("seckill", seckill); //model
//默认配置将"detail"字符串转换为一个 jsp文件
    return "detail"; //view

//如何返回JSON类型文件
@RequestMapping(value = "/{seckillId}/{md5}/execution",
    method = RequestMethod.POST,
    produces = { "application/json;charset=UTF-8"}) //告诉浏览器这个application json类型
@ResponseBody
// Response Body就是返回JSON数据
public SeckillResult<Exposer> exportSeckillURL(@PathVariable("id") long id) {
    SeckillResult<Exposer> result; // 将数据封装为json 类型
    try {
        Exposer exposer = ...
    } catch (Exception e) {
        logger.error(e.getMessage(), e);
        result = new SeckillResult<Exposer>(false, e.getMessage());
    }
    return result;
}

// Cookie访问
@RequestMapping(value = "/{seckillId}/{md5}/execution", method = RequestMethod.POST)
public SeckillResult<SeckillExecution> execute(@PathVariable("seckillId") long seckillId,
                                                                  @PathVariable("md5") String md5,
                                                                  @CookieValue(value = "killPhone", required = false) Long phone)
{
    if (phone == null) {
        return new SeckillResult<SeckillExecution> (false, "未注册电话");
    }
    SeckillExecution execution = seckillService.executeSeckillByProcedure(seckillId, phone, md5);
    SeckillResult<SeckillExecution> result = new SeckillResult<SeckillExecution>(true, execution);
    return result;
}

Tomcat 服务器部署配置
https://www.jianshu.com/p/07f1f99f73ad

先下载tomcat ，再将tomcat加入到intellij编译器之中
war模式—-将WEB工程以包的形式上传到服务器
war exploded模式—-将WEB工程以当前文件夹的位置关系上传到服务器

静态包含与动态包含:
静态包含: 包含的jsp文件的内容会与主文件合并
动态包含: jsp会独立servlet, 把servlet的运行结果与主文件运行结果合并

高并发优化

高并发发生在哪里？

发生在详情页: 最感兴趣的商品
详情页系统时间地址暴露接口执行秒杀操作
为什么要单独获取系统时间?
详情页 -> 用户大量刷新这个页面 -> 详情页部署在CDN节点上 detail页静态化，静态资源 css, js ，访问detail页面和 css, js资源是不需要访问秒杀系统，所以需要一个单独拿到

Content Distribution Network 可以是静态资源也可以是动态资源加速用户获取数据的系统
一般部署在离用户最近的网络节点上,
命中了CDN是不需要访问到后端服务器
互联网公司会自己搭建或租用

获取系统时间不需要优化: Java访问内存10ns, 1s = 10亿纳秒 = 每秒可以做1亿次

秒杀地址接口是在变化就不能够再CDN缓存，适合服务器缓存 redis( 10万/qps, 集群化之后可以做百万qps)
请求地址 -> redis -> Mysql 一致性维护: 超时穿透/ 主动更新

秒杀操作优化分析: 大部分的写操作和所有核心操作没有办法进行缓存
后端缓存困难: 库存问题不可能在缓存之中进行减库存操作
1行数据竞争, 热点商品里面的竞争, MySQL大量减库存竞争
其它的方案分析:
执行秒杀 -> 原子计数器用redis/NoSQL来实现减库存就是在原子计数器上减
记录行为信息(谁减了库存) -> 分布式MQ 单个MQ可以支持几十万qps
后端服务消费消息并落地 -> MySQL 当中

成本太高:
运维成本和稳定性: 支持分布式组件
开发成本:
幂等性很难保证: 重复秒杀问题当减库存时，不知道该用户是否秒杀过，一般操作是维护另一个MQ访问方案来
不适合新手的架构: 微信抢红包淘宝秒杀
运维成本和稳定性: NoSQL 和 MQ

为什么不认为MySQL解决？认为MySQL真的低效么？ update 压力测试 1s 4000次
Java控制事务行为分析 update table set num = num - 1 WHERE id = 10 and num > 0 insert一个购买明细
UPDATE table set num = num - 1 WHERE id = 10 and num > 0 等待行级锁获得锁Lock
等待行级锁
变为一个串行化的操作

可能存在Java客户端等待 Java和数据库通信之中存在网络延迟所有SQL+网络+GC 可能是2ms, 1s之内500次

每个线程完成的操作:
update减库存网络延迟问题 + GC
insert 购买明细: 网络延迟 + GC
commit/rollback

优化分析: 行级锁在commit之后释放
延迟问题很关键

Java

优化总结:

前端控制: 暴露接口，按钮防重复
动静态数据分离: CDN缓存，
事务竞争优化: 减少事务锁时间通过Java客户端会有 start transaction update insert commit rollback都有网络延迟优化

redis后端缓存优化编码详情页CDN 系统时间不要优化, 倒计时: 浏览器端地址暴露接口执行秒杀操作

Seckill seckill = seckillDao.queryById(seckillId)

get from cache
if null
get db
else
put cache
logic code

序列化：
Java序列化对比
protostuff 创建序列化速度很高字节数更少，

采用自定义序列化方式(开源社区方案)
portostuff-core
protostuff-runtime

public Seckill getSeckill(long seckillId) {
    try {
        Jedis jedis = jedisPool.getResource();
        try {
            String key = "seckill:" + seckillId;
            byte[] bytes = jedis.get(key.getBytes());
            if (bytes != null) {
                Seckill seckill = schema.newMessage();
                ProtostuffIOUtil.mergeFrom(bytes, seckill, schema);
                return seckill;
            }
        } finally {
            jedis.close();
        } 
    } catch

posted @ 2018-11-08 12:04 AugusKong 阅读(1564) 评论(0) 编辑收藏举报

刷新页面返回顶部

AugusKong