redis缓存穿透、缓存击穿、缓存雪崩区别和解决方案
缓存穿透
缓存穿透是指缓存和数据库都没有的数据,用户不断发起请求。由于缓存是不命中时被动写的,并且处于容错考虑,如果从存储层查不到数据则不写入缓存,这样导致一个不存在的数据每次请求都要到存储层去查询,失去缓存的意义。
再流量大时,可能DB挂掉,如果有人利用不存在的key频繁攻击,这就是漏洞。
解决方案:
- 接口层数据校验,判断参数是否合规
- 采用布隆过滤器,将所有可能存在的数据哈希到一个足够的bitmap中,一个一定不存在的数据会被bitmap拦截掉
- 对查询结果都为空的数据同样进行固定值(比如key-null)缓存,且过期时间设置很短(不要超过5分钟)
缓存击穿
缓存击穿是指缓存中没有数据库中有的数据(一般是缓存时间到期),这时由于并发用户特别多,同时读缓存没读到数据,又同时去数据库查询数据,引起数据库压力瞬间增大。
解决方案:
- 设置热点数据永不过期
- 接口限流与熔断,降级。重要的接口一定要做好限流策略,防止用户恶意刷接口,同时要降级准备,当借口中的某些服务不可用时进行熔断,失败快速返回机制。
- 互斥锁(mutex key):当缓存失效的时候,先使用缓存工具的某些带成功操作返回值的操作(比如reids的SETNX和memeached的ADD)去set一个mutex key,当 操作返回成功时,在进行load db的操作并回设缓存;否则,就重试整个get缓存的方发。SETNX是[SET if Not exists]的缩写,也就是只有不存在的时候才设置。可以用它来实现锁的效果
//reidis代码 public String get(key) { String value = redis.get(key); if (value == null) { //代表缓存值过期 //设置3min的超时,防止del操作失败的时候,下次缓存过期一直不能load db if (redis.setnx(key_mutex, 1, 3 * 60) == 1) { //代表设置成功 value = db.get(key); redis.set(key, value, expire_secs); redis.del(key_mutex); } else { //这个时候代表同时候的其他线程已经load db并回设到缓存了,这时候重试获取缓存值即可 sleep(50); get(key); //重试 } } else { return value; } } //memcache代码 if (memcache.get(key) == null) { // 3 min timeout to avoid mutex holder crash if (memcache.add(key_mutex, 3 * 60 * 1000) == true) { value = db.get(key); memcache.set(key, value); memcache.delete(key_mutex); } else { sleep(50); retry(); } }
- 互斥锁(mutex key):当缓存失效的时候,先使用缓存工具的某些带成功操作返回值的操作(比如reids的SETNX和memeached的ADD)去set一个mutex key,当 操作返回成功时,在进行load db的操作并回设缓存;否则,就重试整个get缓存的方发。SETNX是[SET if Not exists]的缩写,也就是只有不存在的时候才设置。可以用它来实现锁的效果
缓存雪崩
缓存雪崩是指缓存中数据大批量到过期时间,而查询数据量巨大,而引起数据库压力过大设置down机。和缓存击穿不同的是,缓存击穿之兵发查同一条数据,缓存雪崩是不同数据都过期了,很多数据都查不到而查询数据库
解决方案:
- 缓存数据设置不同的过期时间,防止同一时间大量数据过期现象发生
- 设置热点数据永不过期
- 使用加锁或队列的方式保证不会有大量的线程对数据库一次性进行读写,从而避免失效时大量的并发请求落地底层存储系统上