07-Redis系列之-双写一致性，缓存详解和优化点

双写一致性

双写一致性指的是当我们更新了数据库的数据之后redis中的数据也要同步去更新。

redis和mysql数据同步方案

0. 先更新缓存，再更新数据库（然并软...）
1. 先更新数据库，再更新缓存（一般不用）
2. 先删缓存，再更新数据库（在存数据的时候，请求来了，缓存不是最新的，一般也不用）
3. 先更新数据库，再删缓存（请求再来的时候就是新的缓存了，推荐）

缓存的收益与成本

收益

1. 加速读写
2. 降低后端负载：后端服务器通过前端缓存降低负载，业务端使用redis降低后端mysql负载

成本

1. 数据不一致：缓存层和数据层有时间窗口不一致，和更新策略有关
2. 代码维护成本：多了一层缓存逻辑
3. 运维成本：比如使用了Redis Cluster(上节提到的集群搭建)

应用场景

1. 降低后端负载：对高消耗的sql，join结果集/分组统计的结果做缓存
2. 加速请求响应：利用redis优化io响应时间
3. 大量写合并为批量写：如计数器先redis累加再批量写入db

缓存更新策略

LRU/LFU/FIFO算法剔除

例如maxmemory-policy(超过最大内存，新的放不进去了，淘汰策略)

• LRU -Least Recently Used，没有被使用时间最长的（保证热点数据）
• LFU -Least Frequenty User，一定时间段内使用次数最少的
• FIFO -First In First Out，先进先出

LIRS (Low Inter-reference Recency Set)是一个页替换算法，相比于LRU(Least Recently Used)和很多其他的替换算法，LIRS具有较高的性能。这是通过使用两次访问同一页之间的距离（本距离指中间被访问了多少非重复块）作为一种尺度去动态地将访问页排序，从而去做一个替换的选择

配置文件

# LRU配置
maxmemory-policy:volatile-lru
（1）noeviction: 如果内存使用达到了maxmemory，client还要继续写入数据，那么就直接报错给客户端
（2）allkeys-lru: 就是我们常说的LRU算法，移除掉最近最少使用的那些keys对应的数据，ps最长用的策略
（3）volatile-lru: 也是采取LRU算法，但是仅仅针对那些设置了指定存活时间（TTL）的key才会清理掉
（4）allkeys-random: 随机选择一些key来删除掉
（5）volatile-random: 随机选择一些设置了TTL的key来删除掉
（6）volatile-ttl: 移除掉部分keys，选择那些TTL时间比较短的keys

# LFU配置
maxmemory-policy:volatile-lfu
# Redis4.0之后为maxmemory_policy淘汰策略添加了两个LFU模式：
volatile-lfu：对有过期时间的key采用LFU淘汰算法
allkeys-lfu：对全部key采用LFU淘汰算法
# 还有2个配置可以调整LFU算法：
lfu-log-factor 10
lfu-decay-time 1
# lfu-log-factor可以调整计数器counter的增长速度，lfu-log-factor越大，counter增长的越慢。
# lfu-decay-time是一个以分钟为单位的数值，可以调整counter的减少速度

超时剔除

例如expire，设置过期时间

主动更新

开发控制生命周期（晚上或者热点低的时候更新）

策略	一致性	维护成本
LRU/LIRS算法剔除	最差	低
超时剔除	较差	低
主动更新	强	高

总结

1. 低一致性：最大内存和淘汰策略

2. 高一致性：超时剔除和主动更新结合，最大内存和淘汰策略兜底

缓存粒度控制

缓存粒度：缓存全部属性和缓存部分重要属性（缓存用户的所有数据信息，还是只缓存用户需要的用户信息字段。）

三个角度来考虑

1. 通用性：缓存全量属性更好

   因为当用户数据表字段发生改变时，不需要修改程序就可以直接同步修改之后的用户信息到Redis缓存中供用户使用，但是这样会占用更多的内存空间。

2. 占用空间：缓存部分属性更好

   因为当用户数据表字段发生改变时而用户需要这个字段信息时，就需要修改程序源代码来把修改之后的用户信息同步缓存到Redis中，这种情况下占用的内存空间比全量属性占用的内存空间要少。

3. 代码维护：表面上缓存全量属性更好

   因为不管数据源中的数据表结构如何改变，都会把所有的数据同步到Redis缓存中，而不需要修改程序源代码，但是在大多数情况下，并不会使用到全量数据，只需要缓存需要的数据就可以了。因此从内存空间消耗及性能方面考虑，缓存部分属性更好。

缓存穿透，缓存击穿，缓存雪崩

缓存穿透

# 缓存穿透（一般是恶意的攻击）
1.描述
	缓存穿透是指缓存和数据库中都没有的数据，而用户不断发起请求，如发起为id为“-1”的数据或id为特别大不存在的数据。这时的用户很可能是攻击者，攻击会导致数据库压力过大。
2.解决方案
2.1接口层增加校验，如用户鉴权校验，id做基础校验，id<=0的直接拦截；
2.2从缓存取不到的数据，在数据库中也没有取到，这时也可以将key-value对写为key-null，缓存有效时间可以设置短点，如30秒（设置太长会导致正常情况也没法使用）。这样可以防止攻击用户反复用同一个id暴力攻击
2.3通过布隆过滤器实现，mysql中所有数据都放到布隆过滤器，请求来了，先去布隆过滤器查，如果没有，表示非法，直接返回

缓存击穿

# 缓存击穿
1.描述
	缓存击穿是指缓存中没有但数据库中有的数据（一般是缓存时间到期），这时由于并发用户特别多，同时读缓存没读到数据，又同时去数据库去取数据，引起数据库压力瞬间增大，造成过大压力
2.解决方案：
设置热点数据永远不过期。

缓存雪崩

# 缓存雪崩
1.描述
	缓存雪崩是指缓存中数据大批量到过期时间，而查询数据量巨大，引起数据库压力过大甚至down机。和缓存击穿不同的是，缓存击穿指并发查同一条数据，缓存雪崩是不同数据都过期了，很多数据都查不到从而查数据库。
2.解决方案：
2.1缓存数据的过期时间设置随机，防止同一时间大量数据过期现象发生。
2.2如果缓存数据库是分布式部署，将热点数据均匀分布在不同搞得缓存数据库中。
2.3设置热点数据永远不过期。