redis-实战篇-商户查询缓存

基本思路

添加缓存的原则：动态数据不要加缓存
缓存cache：数据交换的缓冲区。一般读写性能较高。比如浏览器缓存，浏览器会将一些经常使用的数据缓存到本机，这样在多次加载时就不需要访问服务器，而浏览器未命中的缓存则会去tomcat获取。
缓存的作用：降低后端负载、提高读写效率、降低响应时间
缓存的成本：数据一致性成本、代码维护成本、运维成本

实现queryShopById()方法和queryById()方法：

@GetMapping("/{id}")  
public Result queryShopById(@PathVariable("id") Long id) {  
	return shopService.queryById(id);  
}

@Resource  
private StringRedisTemplate stringRedisTemplate;  
@Override  
public Result queryById(Long id) {  
	String key=CACHE_SHOP_KEY + id;  
	//从redis查询商铺缓存  
	String shopJson = stringRedisTemplate.opsForValue().get(key);  
	//判断是否存在，存在直接返回，不存在根据id查询数据库  
	if (StrUtil.isNotBlank(shopJson)) {  
		Shop shop = JSONUtil.toBean(shopJson,Shop.class);  
		return Result.ok(shop);  
	}  
	Shop shop=getById(id);  
	//数据库如果不存在，返回错误，如果存在，写入redis。  
	if (shop==null) {  
		return Result.fail("店铺不存在");  
	}  
	stringRedisTemplate.opsForValue().set(key,JSONUtil.toJsonStr(shop));  
	return Result.ok(shop);  
}

ctrl+i：生成接口的方法
ctrl+alt+b：找到实现类

缓存更新策略

内存淘汰：利用Redis的内存淘汰机制，当内存不足时自动淘汰部分数据。一致性很差。
超时剔除：给缓存数据添加TTL时间，到期后自动删除缓存。一致性一般。
主动更新：编写业务逻辑，在修改数据库的同时更新缓存。一致性好，但维护成本高。
根据业务场景决定，低一致性需求比如店铺类型的查询缓存，可使用内存淘汰机制。而高一执行需求比如店铺详情查询缓存可以以主动更新为主辅以超时剔除方案。
主动更新的方法：

Cache Aside Pattern 人工编码方式：缓存调用者在更新完数据库后再去更新缓存，也称之为双写方案
Read/Write Through Pattern : 由系统本身完成，数据库与缓存的问题交由系统本身去处理
Write Behind Caching Pattern ：调用者只操作缓存，其他线程去异步处理数据库，实现最终一致
操作缓存需要考虑的问题：
删除缓存还是更新缓存：如果每次更新数据库都更新缓存，无效写操作较多，因此更新数据库时让缓存失效，查询时再更新缓存。
如何保证缓存和数据库操作同时成功或失败：单体系统将缓存与数据库操作放在一个事务，分布式系统利用TCC等分布式事务方案。
先操作缓存还是先操作数据库：线程安全产生的问题，删缓存比删数据库要快。而先操作数据库比先操作缓存出发线程安全问题的概率更低。
缓存更新先操作数据库的主动更新的代码如下：

@Override  
@Transactional  
public Result update(Shop shop) {  
	Long id = shop.getId();  
	if (id==null) {  
		return Result.ok("店铺id不能为空");  
	}  
	//更新数据库  
	updateById(shop);  
	  
	//删除缓存  
	stringRedisTemplate.delete(CACHE_SHOP_KEY+id);  
	  
	return null;  
}

缓存穿透

客户端请求的数据再缓存中和数据库中都不存在，这样缓存永远不会生效，这些请求都会打到数据库，而用户请求却在不断发送请求，因此给数据库带来巨大压力。
常见解决方案：

缓存空对象：将空值缓存到redis，省的再寻找数据库。
- 优点：简单，维护方便
- 缺点：缓存中存满了空对象，可能造成短期的不一致性
布隆过滤：在客户端和redis中间增加一个布隆过滤器，先判断是否存在数据，然后再放行给redis。
- 优点：内存占用少，没有多余key
- 缺点：实现复杂，因为是通过哈希思想解决问题，所以存在误判可能

主动避免缓存穿透：

增加id的复杂度，避免被猜出id规律
做好数据的基础格式校验
加强用户权限校验
做好热点参数的限流

public Shop queryWithPassThrough(Long id){  
	String key=CACHE_SHOP_KEY + id;  
	//从redis查询商铺缓存  
	String shopJson = stringRedisTemplate.opsForValue().get(key);  
	//判断是否存在，存在直接返回，不存在根据id查询数据库  
	if (StrUtil.isNotBlank(shopJson)) {  
		return JSONUtil.toBean(shopJson,Shop.class);  
	}  
	//判断是否命中的空值,如果命中空值，则直接返回。  
	if (shopJson!=null) {  
		return null;  
	}  
	Shop shop=getById(id);  
	//数据库如果不存在，返回错误，如果存在，写入redis。  
	if (shop==null) {  
	//将空值写入redis  
		stringRedisTemplate.opsForValue().set(key,"",CACHE_NULL_TTL,TimeUnit.MINUTES);  
		return null;  
	}  
	stringRedisTemplate.opsForValue().set(key,JSONUtil.toJsonStr(shop),CACHE_SHOP_TTL, TimeUnit.MINUTES);  
	return shop;  
}

缓存雪崩

在同一时段内，大量的缓存key同时失效或Redis服务宕机，导致大量请求到达数据库，为服务器带来巨大压力。
解决方案：

给不同的key的TTL添加随机值——关于key失效导致的缓存雪崩
利用redis集群提高服务的可用性。
给缓存业务添加降级限流策略
给业务添加多级缓存

缓存击穿

也叫做热点key问题，一个被高并发访问并且缓存重建业务较复杂的key突然失效，无数的请求访问会在瞬间给数据库带来巨大冲击。
解决方案：

互斥锁：线程未命中后等待一段时间，直到有某个线程缓存命中后，其他线程才会命中。
- 没有额外内存消耗，能够保持一致性，实现简单
- 效率不高。可能有死锁风险
逻辑过期：不给key设置ttl，而是增设expire字段，逻辑上维护过期时间。当一个线程发现key过期后，会开辟一个新的线程重建缓存key，自己则返回旧的数据。其他线程访问过期key后，发现重建缓存key的线程已经上锁，知道已经有人在更新了，因此也返回旧的数据。
- 线程无需等待，性能较好
- 不保证一致性，有额外内存消耗，实现复杂

互斥锁

实现核心思想是redis的setnx命令，当key不存在时才能成功写入，返回写入数。
下面是互斥锁的代码，上锁tryLock()，解锁unlock()，以及上述流程图的代码queryWithMutex()。

private boolean tryLock(String key){  
	Boolean flag=stringRedisTemplate.opsForValue().setIfAbsent(key,"1",10,TimeUnit.SECONDS);  
	return BooleanUtil.isTrue(flag);  
}  
private void unlock(String key){  
	stringRedisTemplate.delete(key);  
}

private Shop queryWithMutex(Long id) {  
	String key = CACHE_SHOP_KEY + id;  
	//从redis查询商铺缓存  
	String shopJson = stringRedisTemplate.opsForValue().get(key);  
	//判断是否存在，存在直接返回，不存在根据id查询数据库  
	if (StrUtil.isNotBlank(shopJson)) {  
		return JSONUtil.toBean(shopJson, Shop.class);  
	}  
	//判断是否命中的空值,如果命中空值，则直接返回。  
	if (shopJson != null) {  
		return null;  
	}  
	//实现缓存重建：获取互斥锁，判断是否获取成功，如果获取失败则休眠重试，成功则根据id查询数据库  
	String lockkey = "lock:shop:" + id;  
	Shop shop = null;  
	try {  
		boolean isLock = tryLock(lockkey);  
	if (!isLock) {  
		Thread.sleep(50);  
		return queryWithMutex(id);  
	}  
	shop = getById(id);  
	//模拟重建延迟  
	Thread.sleep(200);  
	//数据库如果不存在，返回错误，如果存在，写入redis。  
	if (shop == null) {  
		//将空值写入redis  
		stringRedisTemplate.opsForValue().set(key, "", CACHE_NULL_TTL, TimeUnit.MINUTES);  
		return null;  
	}  
	stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(shop), CACHE_SHOP_TTL, TimeUnit.MINUTES);  
	} catch (InterruptedException e) {  
		throw new RuntimeException(e);  
	} finally {  
		//释放锁  
		unlock(lockkey);  
	}  
	return shop;  
}

逻辑过期

首先需要建立一个RedisData类，将原本的类与过期时间包装起来。以及上述流程图的代码queryWithLogicalExpire()。

//RedisData.java
@Data  
public class RedisData {  
	private LocalDateTime expireTime;  
	private Object data;  
}

//线程池
private static final ExecutorService CACHE_REBUILD_EXECUTOR= Executors.newFixedThreadPool(10);
private Shop queryWithLogicalExpire(Long id) {  
	String key = CACHE_SHOP_KEY + id;  
	//从redis查询商铺缓存  
	String shopJson = stringRedisTemplate.opsForValue().get(key);  
	//判断是否存在，不存在直接返回  
	if (StrUtil.isBlank(shopJson)) {  
		return null;  
	}  
	//命中，先把json反序列化为对象  
	RedisData redisData = JSONUtil.toBean(shopJson, RedisData.class);  
	Shop shop = JSONUtil.toBean((JSONObject) redisData.getData(),Shop.class);  
	LocalDateTime expiretime=redisData.getExpireTime();  
	//判断是否过期  
	//未过期直接返回信息  
	if(expiretime.isAfter(LocalDateTime.now())){  
		return shop;  
	}  
	//已过期，需要缓存重建。判断是否获取互斥锁成功。  
	String lockkey=LOCK_SHOP_KEY+id;  
	boolean islock=tryLock(lockkey);  
	if(islock){  
		CACHE_REBUILD_EXECUTOR.submit(()->{  
			try{  
				this.saveShope2Redis(id,20L);  
			}catch (Exception e){  
				throw new RuntimeException(e);  
			}finally {  
				unlock(lockkey);  
			}  
		});  
	}  
	return shop;  
}
//测试函数，缓存预热，在缓存中存入一条数据
public void saveShope2Redis(Long id,Long expireSeconds){  
	Shop shop=getById(id);  
	RedisData redisData=new RedisData();  
	redisData.setData(shop);  
	redisData.setExpireTime(LocalDateTime.now().plusSeconds(expireSeconds));  
	stringRedisTemplate.opsForValue().set(CACHE_SHOP_KEY+id,JSONUtil.toJsonStr(redisData));  
}

逻辑封装

基于StringRedisTemplate封装一个缓存工具类CacheClient，满足下列需求：

方法1：将任意Java对象序列化为json并存储在string类型的key中，并且可以设置TTL过期时间
方法2：将任意Java对象序列化为json并存储在string类型的key中，并且可以设置逻辑过期时间，用于处理缓存击穿问题
方法3：根据指定的key查询缓存，并反序列化为指定类型，利用缓存空值的方式解决缓存穿透问题
方法4：根据指定的key查询缓存，并反序列化为指定类型，需要利用逻辑过期解决缓存击穿问题

@Slf4j  
@Component  
public class CacheClient {  
	private final StringRedisTemplate stringRedisTemplate;  
	public CacheClient(StringRedisTemplate stringRedisTemplate){  
		this.stringRedisTemplate = stringRedisTemplate;  
	}  
	public void set(String key, Object value, Long time, TimeUnit unit){  
		stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(value),time,unit);  
	}  
	public void setWithLogicalExpire(String key, Object value, Long time, TimeUnit unit){  
		RedisData redisData=new RedisData();  
		redisData.setData(value);  
		redisData.setExpireTime(LocalDateTime.now().plusSeconds((unit.toSeconds(time))));  
		stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(redisData));  
	}  
	public <R,ID> R queryWithPassThrough(String keyPrefix,ID id,Class<R> type, Function<ID,R> dbFallback,Long time,TimeUnit unit){  
		String key=keyPrefix + id;  
		//从redis查询商铺缓存  
		String json = stringRedisTemplate.opsForValue().get(key);  
		//判断是否存在，存在直接返回，不存在根据id查询数据库  
		if (StrUtil.isNotBlank(json)) {  
			return JSONUtil.toBean(json,type);  
		}  
		//判断是否命中的空值,如果命中空值，则直接返回。  
		if (json!=null) {  
			return null;  
		}  
		R r=dbFallback.apply(id);  
		//数据库如果不存在，返回错误，如果存在，写入redis。  
		if (r==null) {  
		//将空值写入redis  
			stringRedisTemplate.opsForValue().set(key,"",CACHE_NULL_TTL,TimeUnit.MINUTES);  
			return null;  
		}  
		this.set(key,r,time,unit);  
		// stringRedisTemplate.opsForValue().set(key,JSONUtil.toJsonStr(r),CACHE_SHOP_TTL, TimeUnit.MINUTES);  
		return r;  
	}  
	private static final ExecutorService CACHE_REBUILD_EXECUTOR= Executors.newFixedThreadPool(10);  
	private boolean tryLock(String key){  
		Boolean flag=stringRedisTemplate.opsForValue().setIfAbsent(key,"1",10,TimeUnit.SECONDS);  
		return BooleanUtil.isTrue(flag);  
	}  
	private void unlock(String key){  
		stringRedisTemplate.delete(key);  
	}  
	  
	public <R,ID> R queryWithLogicalExpire(String keyPrefix,ID id,Class<R> type,Function<ID,R> dbFallback,Long time,TimeUnit unit) {  
		String key = keyPrefix + id;  
		//从redis查询商铺缓存  
		String json = stringRedisTemplate.opsForValue().get(key);  
		//判断是否存在，不存在直接返回  
		if (StrUtil.isBlank(json)) {  
			return null;  
		}  
		//命中，先把json反序列化为对象  
		RedisData redisData = JSONUtil.toBean(json, RedisData.class);  
		R r = JSONUtil.toBean((JSONObject) redisData.getData(),type);  
		LocalDateTime expiretime=redisData.getExpireTime();  
		//判断是否过期  
		//未过期直接返回信息  
		if(expiretime.isAfter(LocalDateTime.now())){  
			return r;  
		}  
		//已过期，需要缓存重建。判断是否获取互斥锁成功。  
		String lockkey=LOCK_SHOP_KEY+id;  
		boolean islock=tryLock(lockkey);  
		if(islock){  
			CACHE_REBUILD_EXECUTOR.submit(()->{  
				try{  
					R r1=dbFallback.apply(id);  
					this.setWithLogicalExpire(key,r1,time,unit);  
				}catch (Exception e){  
					throw new RuntimeException(e);  
				}finally {  
					unlock(lockkey);  
				}  
			});  
		}  
		return r;  
	}  
}

Jmeter安装配置

在黑马的课程中，对于测试类的缓存击穿等测试中提到的工具：
首先在官网上下载Binaries版的包，然后解压到不带中文的目录下。最后配置环境变量参考一和参考二。
option可以修改语言。
运行时需要点击安装路径下的bin目录中的jmeter.bat文件即可。
把黑马给的jmx后缀的文件直接拖动到软件中，修改参数点击运行即可。
如果想出现查看结果树等，可以在左侧线程组内的http请求点击添加监听器即可。

posted @ 2023-09-11 09:12 梅落南山阅读(57) 评论(0) 编辑收藏举报

刷新页面返回顶部

梅落南山