Redis进阶

redis进阶

1.SpringBoot集成Redis

1)创建SpringBoot工程,勾选Nosql

2)配置连接参数

spring:
  datasource:
    url: jdbc:mysql://localhost:3306/test?serverTimezone=Asia/Shanghai
    username: root
    password: ok
    driver-class-name: com.mysql.jdbc.Driver
  redis:
    port: 6379
    host: 127.0.0.1

3)创建测试方法Demo2ApplicationTests-测试字符串

@SpringBootTest
class Demo2ApplicationTests {
    @Autowired
    private RedisTemplate redisTemplate;
 
    @Test
    void contextLoads() {
        redisTemplate.opsForValue().set("name66","zs");
        System.out.println(redisTemplate.opsForValue().get("name66"));
    }
}

4)创建实体类

  Student

5)创建测试方法Demo2ApplicationTests-测试对象

 @Test
    public void test()throws Exception{
        User user = new User("中博",777);
        redisTemplate.opsForValue().set("user",user);
        System.out.println(redisTemplate.opsForValue().get("user"));
    }

6)RedisConfig

@Configuration
public class RedisConfig {
    @Bean
    @SuppressWarnings("all")
    public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory factory) {
        RedisTemplate<String, Object> template = new RedisTemplate<String, Object>();
        template.setConnectionFactory(factory);
        Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
        ObjectMapper om = new ObjectMapper();
        om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
        om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
        jackson2JsonRedisSerializer.setObjectMapper(om);
        StringRedisSerializer stringRedisSerializer = new StringRedisSerializer();
 
        // key采用String的序列化方式
        template.setKeySerializer(stringRedisSerializer);
        // hash的key也采用String的序列化方式
        template.setHashKeySerializer(stringRedisSerializer);
        // value序列化方式采用jackson
        template.setValueSerializer(jackson2JsonRedisSerializer);
        // hash的value序列化方式采用jackson
        template.setHashValueSerializer(jackson2JsonRedisSerializer);
        template.afterPropertiesSet();
 
        return template;
    }
}

7)测试方法Demo2ApplicationTests-测试序列化

public class RedisConfig {
    @Bean
    @SuppressWarnings("all")
    public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory factory) {
        RedisTemplate<String, Object> template = new RedisTemplate<String, Object>();
        template.setConnectionFactory(factory);
        Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
        ObjectMapper om = new ObjectMapper();
        om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
        om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
        jackson2JsonRedisSerializer.setObjectMapper(om);
        StringRedisSerializer stringRedisSerializer = new StringRedisSerializer();

        // key采用String的序列化方式
        template.setKeySerializer(stringRedisSerializer);
        // hash的key也采用String的序列化方式
        template.setHashKeySerializer(stringRedisSerializer);
        // value序列化方式采用jackson
        template.setValueSerializer(jackson2JsonRedisSerializer);
        // hash的value序列化方式采用jackson
        template.setHashValueSerializer(jackson2JsonRedisSerializer);
        template.afterPropertiesSet();

        return template;
    }
}

8)企业级使用RedisUtil工具类

     https://www.cnblogs.com/gnos/p/13609119.html

9)创建测试方法塞值取值

  @Test
    public void test2()throws Exception{
        redisUtil.set("name","sh");
        System.out.println(redisUtil.get("name"));
    }

(10)测试增删改查

@RestController
public class UserController {
    @Autowired
    private UserMapper userMapper;
 
    @Resource
    private RedisUtil redisUtil;
 
    @PostMapping("/set")
    public void set(@RequestBody User user){
        redisUtil.set("user",user);
    }
 
    @PostMapping("/get/{key}")
    public User get(@PathVariable("key")String key){
        return (User) redisUtil.get(key);
    }
 
    @PostMapping("/delete/{key}")
    public void delete(@PathVariable("key")String key){
        redisUtil.del("user");
    }
 
    @PostMapping("/findAll")
    public List<User> findAll(){
        List<User> list = (List<User>)redisUtil.get("users");
        if(list ==null){
            list = userMapper.findAll();
            redisUtil.set("users",list);
        }
        return list;
    }
}

 

2.Redis持久化

(1) 背景

Redis是内存数据库,如果不将内存中的数据库状态保存到磁盘,那么一旦服务器进程退出,服务器中的数据库状态也会消失,所以Redis提供了持久化功能.

(2)RDB持久化(Redis DataBase)

  ① 定义

       RDB持久化是指在指定的时间间隔内将内存中的数据集快照写入磁盘,实际操作过程是fork一个子进程,先将数据集写入临时文件,写入成功后,再替换之前的文件,用二进制压缩存储。

  Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了。再用这个临时文件替换上次持久化好的文件。整个过程中,主进程是不进行任何IO操作的。这就确保了极高的性能。

 

 

 

  ② 优点  适合大规模的数据恢复

                对数据完整性要求不高

  ③ 缺点 需要一定时间间隔来进行进程操作!如果redis以外宕机了,最后一次修改的数据就

                    没有了!

                    fork进程的时候,会占用一定的内存空间

3)AOF持久化(Append only File)

  ① 定义

  AOF持久化以日志的形式记录服务器所处理的每一个写、删除操作,查询操作不会记录,以文本的方式记录,可以打开文件看到详细的操作记录。

 

 

 

  ② 优点   AOF可以一次更好地保护数据不丢失,一般AOF会以每隔一秒,通过后台的一个进程进行一次fsync操作,如果redis进程丢失,最多丢失1秒的数据;

                      AOF以appenf-only的模式读写,所以没有任何磁盘寻址的开销,写入性能高;

                     AOF日志文件的命令通过非常可读的方式进行记录,这个非常适合做灾难性的误删除的紧急恢复,如果某人不小心用福禄寿命令清空了所有的数据,只要这个时候还没有执行rewrite,那么就可以将日志文件中的福禄寿删除,进行恢复。

  ③ 缺点  相对于数据文件来说,AOF远远大于RDB,修复的速度也比RDB慢!

        AOF运行效率也比RDF慢,所以我们用Redis默认的配置就是RDB持久化!

3.哨兵模式

1)什么是哨兵模式

        主从切换技术的方法是:当主服务器宕机后,需要手动把一台从服务器切换为主服务器,这就需要人工干预,非常费时间费力气,还会造成一段时间内服务不可用,所以我们推荐优先考虑哨兵模式。

哨兵模式是一种特殊的模式,首先Redis提供了哨兵的命令,哨兵是一个独立的进程,作为进程,它会独立运行。其原理是哨兵通过发送命令,等待Redis服务器响应,从而监控运行的多个Redis实例。

 

  2)优点

    ① 哨兵集群,基于主从赋值模式;

    ② 主从可以切换,故障可以转移,系统的可用性比较好;

    ③ 哨兵模式就是主从模式的升级,手动到自动,更加健壮。

  3)缺点

    ① Redis不好在线扩容,集群容量一旦达到上限,在线扩容比较麻烦;

    ② 实现哨兵机制的配置非常麻烦。

4.Redis缓存击穿与雪崩(服务器的高可用)

  Redis缓存的使用,极大的提高了效率,但是要有一些问题,例如数据的一致性问题,这个问题没有办法解决。如果对数据的一致性要求很高,那么就不能使用缓存。

1)缓存穿透(查不到导致)

  ① 定义

  缓存穿透的概念很简单,用户想要查询一个数据,发现redis内存数据库没有,也就是缓存没有命中,于是向持久层数据库查询。发现也没有,于是本次查询失败。当用户很多的时候,缓存都没有命中,于是都去请求了持久层数据库,这会给持久层数据库造成很大的压力,这时候相当于出现了缓存穿透。

 

  ② 现象

  系统平稳运行的过程中:  应用服务器流量随时间增量增大;

              Redis服务器命中率随时间逐步降低;

              Redis内存平稳,内存无压力;

              Redis服务器CPU占用激增

              数据库奔溃

  ③ 解决方案  布隆过滤器

         缓存空对象

2)缓存击穿(某个key过期,并且该key访问量巨大!)

  ① 定义

  缓存击穿,是指一个key非常热点,在不停的扛着大并发,大并发集中对这一个点进行访问,当这个key在失效的瞬间,持续的大并发就穿破缓存,直接请求数据库,就像在一个屏障上凿开了一个洞。

  当某个key在过期的瞬间,有大量的请求并发访问,这类数据一般是热点数据,由于缓存过期,会同时访问数据库来查询最新数据,会导致数据库瞬间压力过大。

  ② 现象

  系统平稳运行的过程中:  数据库连接量突然激增;

              Redis服务器无大量key过期;

              Redis内存平稳,无波动;

              Redis服务器CPU正常;

              数据库奔溃!

  ③ 解决方案   设置热点数据永不过期:

          从缓存层面来看,没有设置过期时间,所以不会出现热点key过期后产生的问题

          加互斥锁:

          分布式锁:使用分布式锁,保证对于每一个key同时只有一个线程去查询够短服务,其他线程没有获得分布式锁的权限,

              因此只需要等待即可。这种方式将高并发的压力转移到了分布式锁,一次对分布式锁的考验很大!

 

 

3)缓存雪崩(短时间内,缓存中较多的key集中过期)

  ① 定义

  缓存雪崩是指缓存中数据大批量到过期时间,而查询数据量巨大,引起数据库压力过大甚至down机。和缓存击穿不同的是,缓存击穿指并发查同一条数据,缓存雪崩是不同数据都过期了,很多数据都查不到从而查数据库。

  ② 现象

    系统平稳运行的过程中:  数据库连接量激增;

                应用服务器无法及时处理请求;

                大量404,500错误页面出现;

                用户答复刷新页面获取数据;

                数据开崩溃;

                应用服务器崩溃;

                重启应用服务器无效;

                Redis服务器崩溃;

                Redis集群崩溃;

                重启数据库后致辞被瞬间流量击崩!

  ③ 解决方案   缓存数据的过期时间设置随机,防止同一时间大量数据过期现象的发生

          如果缓存数据是分布式部署,将热点数据均匀分布在不同的缓存数据库中

                                 设置热点数据永远不过期

4)常见企业级解决方案

  ① Redis集群

  如果一台挂掉之后还可以继续工作。

  ② 限流降级

  缓存失效后,通过枷锁或队列来读取数据库写缓存的线程数量。例如,对某个key只允许一个线程查询数据和写缓存,其他线程等待。

  ③ 缓存预热

  缓存预热的含义就是在正式部署之前,我先把可能的数据先预先访问一遍,这样部分可能大量访问的数据就会加载到缓存中

在即将发生大规模并发访问前手动触发加载缓存不同的key,设置不同的过期时间,让缓存失效的时间点尽量均匀。

 

 

posted @ 2020-09-03 18:11  宋雨航哎  阅读(125)  评论(0编辑  收藏  举报