一、Redis 总结

官网

Redis 介绍

Redis 是一个开源的、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库，并提供多种语言的 API。
Redis 是一个 key-value 存储系统。为了保证效率，数据都是缓存在内存中。Redis 会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了 master-slave (主从)同步。
Redis 从第3版本开始支持主从同步和分片（以前的版本需要自己实现，也就是说不是自带的功能）。数据可以从主服务器向任意位置的从服务器上同步，从服务器可以是关联其他从服务器的主服务器。分片机制使 Redis 可以增加读写性能。由于完全实现了发布/订阅机制，使得从数据库在任何地方同步，可订阅一个频道并接收主服务器完整的消息发布记录。分片机制增加了数据的可扩展性，数据的同步增加了数据冗余和容灾。

Redis 的特点：1、内存缓存 2、数据持久化 3、操作原子性 4、分布式支持

Redis为什么这么快

  • 完全基于内存，绝大部分请求是纯粹的内存操作，非常快速；
  • 数据结构简单，对数据操作也简单，Redis 中的数据结构是专门进行设计的；
  • 采用单线程，避免了不必要的上下文切换和竞争条件，也不存在多进程或者多线程导致的切换而消耗 CPU，不用去考虑各种锁的问题，不存在加锁释放锁操作，没有因为可能出现死锁而导致的性能消耗；
  • 使用多路I/O复用模型，非阻塞 IO。只有单个线程，通过跟踪每个I/O流的状态，来管理多个I/O流；
    • 多路 I/O
    • 我们的 redis-client 在操作的时候，会产生具有不同事件类型的 socket。在服务端，有一段 I/0 多路复用程序，将其置入队列之中。然后，文件事件分派器，依次去队列中取，转发到不同的事件处理器中。

Redis 的数据类型 & TTL

Redis 的数据类型

  1. String：常规的 set/get 操作。
  2. List：可以做简单的消息队列。
  3. set：一堆不重复值的集合，所以可以做全局去重的功能。
  4. zset：sorted set 多了一个权重参数 score,集合中的元素能够按 score 进行排列。可以做排行榜应用，取 TOP N 操作。
  5. Hash。

Redis 设置过期时间

//把数据信息写入 redis
jedisClient.set("key", "value");
//设置 key 的过期时间 时间单位是秒
jedisClient.expire("key", 1800);

但这样做可能会出现问题，比如多并发上面，设置值和过期时间用了两步操作。可以将设置值和过期时间合并成一步操作，所以可以使用 redis 的设置值 set 的另外一个方法

// NX是不存在时才set， XX是存在时才set， EX是秒，PX是毫秒
jedisClient.set(key, value, "NX", "EX", expireSecond);

Redis 的过期策略以及内存淘汰机制
这个问题其实相当重要，比如 redis 只能存 5G 数据，可是写了 10G，那会删 5G 的数据。数据已经设置了过期时间，但是时间到了，内存占用率还是比较高，原因?

  • Redis 采用的是定期删除+惰性删除策略。
  • 为什么不用定时删除策略?
    • 定时删除,用一个定时器来负责监视 key,过期则自动删除。虽然内存及时释放，但是十分消耗 CPU 资源。
    • 在大并发请求下，CPU 要将时间应用在处理请求，而不是删除 key,因此没有采用这一策略.
  • 定期删除
    • 定期删除是指 Redis 服务器每隔一段时间会检查一下数据库，看看是否有过期键可以被清除。
    • 默认情况下 Redis 定期检查的频率是每秒扫描 10 次，用于定期清除过期键。
    • 当然此值还可以通过配置文件进行设置，在 redis.conf 中修改配置“hz”即可，默认的值为“hz 10”。
    • 定期删除的扫描并不是遍历所有的键值对，这样的话比较费时且太消耗系统资源。
    • Redis 服务器采用的是随机抽取形式，每次从过期字典中，取出 20 个键进行过期检测，过期字典中存储的是所有设置了过期时间的键值对。
    • 如果这批随机检查的数据中有 25% 的比例过期，那么会再抽取 20 个随机键值进行检测和删除，并且会循环执行这个流程，直到抽取的这批数据中过期键值小于 25%，此次检测才算完成。
    • 因此，如果只采用定期删除策略，会导致很多 key 到时间没有删除。
  • 惰性删除
    • 定期删除策略，会导致很多 key 到时间没有删除，于是，惰性删除派上用场。
    • 也就是说在获取某个 key 的时候，redis 会检查一下，这个 key 如果设置了过期时间，那么是否过期了？
    • 如果过期了此时就会删除，返回 null。
    • 它的优点是不会浪费太多的系统资源，只是在每次访问时才检查键值是否过期。缺点是删除过期键不及时，造成了一定的空间浪费。
  • 采用定期删除+惰性删除就没其他问题了么?
    • 不是的，如果定期删除没删除 key。然后你也没即时去请求 key，也就是说惰性删除也没生效。这样，redis 的内存会越来越高。那么就应该采用内存淘汰机制。
  • 在 redis.conf 中有一行配置：# maxmemory-policy volatile-lru。该配置就是配内存淘汰策略的。
    • noeviction：当内存不足以容纳新写入数据时，不淘汰任何数据，新写入操作会报错，redis 默认的策略。
    • allkeys-lru：当内存不足以容纳新写入数据时，在键空间中，移除最近最少使用的 key。推荐使用。
    • allkeys-random：当内存不足以容纳新写入数据时，在键空间中，随机移除某个 key。
    • volatile-lru：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，移除最近最少使用的 key。
    • volatile-random：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，随机移除某个 key。
    • volatile-ttl：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，有更早过期时间的 key 优先移除。

Redis 集群模式

  • 主从复制解决单点故障

  • 读写分离解决主节点压力过大

  • 主从复制虽然解决了性能问题，但是没解决存储数据量的问题，所以要使用 Redis 集群解决存储数据量与性能问题。

  • Redis 使用“一致性 hash”来解决怎么存储数据的问题。

    • 这种 hash 算法存在一定的缺陷：比如增加节点，进行扩容，那么 key 的计算方式就是：key.hashCode % 3 => key.hashCode % 4。那么查询 key0 这个 key 的时候就有可能查不到。节点减少也会导致同样的问题。

    • 为了解决这个问题就引入了一致性 Hash，就是有数量不变的虚拟机，每个虚拟机都代理着集群的 1 到多个实体主机。

  • Redis 集群利用一致性hash的原理加分片机制（主从复制），解决了数据的海量存储，单点压力过大和数据可靠性的问题。

posted @ 2020-06-21 22:51  abc十号  阅读(202)  评论(0)    收藏  举报