（R计划分享）浅谈非关系型数据库Redis

一、Redis是什么

百度百科：Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。

Redis是一种Key-Value存储形式的非关系型的内存数据库，整个数据库加载在内存当中操作，定期通过异步操作把数据库中的数据flush到硬盘上进行保存。

整个数据库加载在内存当中操作，定期通过异步操作把数据库中的数据flush到硬盘上进行保存。

优点：

• 读写性能极高， Redis能读的速度是110000次/s，写的速度是81000次/s。
• 支持数据持久化，支持AOF和RDB两种持久化方式。
• 支持事务， Redis的所有操作都是原子性的，意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务，即原子性，通过MULTI和EXEC指令包起来。
• 数据结构丰富，除了支持string类型的value外，还支持hash、set、zset、list等数据结构。
• 支持主从复制，主机会自动将数据同步到从机，可以进行读写分离。
• 丰富的特性 – Redis还支持 publish/subscribe， 通知， key 过期等特性。

缺点：

• 数据库容量受到物理内存的限制，不能用作海量数据的高性能读写，因此Redis适合的场景主要局限在较小数据量的高性能操作和运算上。

二、Redis安装

Linux：Linux安装包下载

Windows：redis下载安装教程-Windows版本（详细）

注意：Redis官方只有Linux系统安装包，Windows版本是他人封装出来的。

 

三、基本数据类型

• string：字符串类型（键-值）
• list：列表类型（键-集合 可以重复）
• set：集合类型（键-集合 不可以重复）
• hash：哈希类型（键-键值对）
• zset：有序集合（键-值-值 不可以重复）

3.1 string

set [key] [value]      插入键值对
get [key]              获取值
incr [key]             自增（值为integer类型）
decr [key]             自减（值为integer类型）
mget [key...]          获取多个值
del [key]              删除键值对

3.2 list

lpush [key] [value...]      从列表list的左边插入一个元素
lpop [key]                  从列表list的左边移除一个元素
rpush [key] [value...]      从列表list的右边插入一个元素
rpop [key]                  从列表list的右边移除一个元素
lrange [key] [start] [stop] 从列表中获取对应下标的值[start,stop]
llen [key]                  打印当前列表list中的元素个数
lindex [key] [index]        获取指定列表中指定下标的元素
lrem [key] [count] [value]  根据count值移除指定列表中跟value相等的数据
//count>0：从列表的左侧移除count个跟value相等的数据；
//count<0：从列表的右侧移除count个跟vlaue相等的数据；
//count=0：从列表中移除所有跟value相等的数据
ltrim key startIndex endIndex  截取指定列表中指定下标区间的元素组成新的列表，并且赋值给key
lset key index value           将指定列表中指定下标的元素设置为指定值
linsert key before/after pivot vlaue 将value插入到指定列表中位于pivot元素之前/之后的位置

 

3.3 set

sadd [key] [member...]     往set中添加数据()
srem [key] [member...]     从set中删除数据
smembers [key]             获取集合 key 中的所有成员元素，不存在的 key 视为空集合
scard [key]                查看set中存在的元素个数
sismember [key] [member]   查看set中是否存在某个数据

3.4 hash

hset [key] [field] [value]   往hash里，添加key-[field-value]
hget [key] [field]           通过key值，从hash里取对应的value
hmget [key] [field...]       一次性获取多个key的value
hmset [key] [field value...] 一次性添加多个key的value
hgetall <key>                查看key的所有键值对
hkeys <key>                  返回所有hash表中的key的所有域
hexists <key> <field>        查看hash表中，给定key的域field是否存在。如果存在，则返回1

3.5 zset

zadd [key] [score member ...]  添加数据，score表示member成员的得分，根据得分排序
zcard [key]                    查询成员数据个数
zrange [key] [start] [stop]    数据排序，根据分数从小到大
zrevrange [key] [start] [stop] 数据排序，根据分数从大到小

 

3.6 特殊数据类型

1、Bitmap：

位图，Bitmap想象成一个以位为单位数组，数组中的每个单元只能存0或者1，数组的下标在Bitmap中叫做偏移量。使用Bitmap实现统计功能，更省空间。如果只需要统计数据的二值状态，例如商品有没有、用户在不在等，就可以使用 Bitmap，因为它只用一个 bit 位就能表示 0 或 1。

2、HyperLogLog：

HyperLogLog 是一种用于统计基数的数据集合类型，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。

场景：统计网页的UV（即Unique Visitor，不重复访客，一个人访问某个网站多次，但是还是只计算为一次）。

要注意，HyperLogLog 的统计规则是基于概率完成的，所以它给出的统计结果是有一定误差的，标准误算率是 0.81%。

3、Geospatial ：

主要用于存储地理位置信息，并对存储的信息进行操作，适用场景如朋友的定位、附近的人、打车距离计算等。

 四、Redis的高性能

• 内存存储：Redis是使用内存(in-memeroy)存储，没有磁盘IO上的开销。数据存在内存中，类似于 HashMap，HashMap 的优势就是查找和操作的时间复杂度都是O(1)。

• 单线程实现（ Redis 6.0以前）：Redis使用单个线程处理请求，避免了多个线程之间线程切换和锁资源争用的开销。注意：单线程是指的是在核心网络模型中，网络请求模块使用一个线程来处理，即一个线程处理所有网络请求。

• 非阻塞IO：Redis使用多路复用IO技术，将epoll作为I/O多路复用技术的实现，再加上Redis自身的事件处理模型将epoll中的连接、读写、关闭都转换为事件，不在网络I/O上浪费过多的时间。

• 优化的数据结构：Redis有诸多可以直接应用的优化数据结构的实现，应用层可以直接使用原生的数据结构提升性能。

• 使用底层模型不同：Redis直接自己构建了 VM (虚拟内存)机制 ，因为一般的系统调用系统函数的话，会浪费一定的时间去移动和请求。

Redis属于缓存数据库，数据存放在内存中，当程序获取数据时，直接通过内存调用，极大的提高了Redis 的性能。

  

 在一般项目中，常常是根据不同的应用场景，结合各数据库的特点，选择性的使用数据库，例如MySQL和Redis这两种数据库结合起来使用会达到一种比较理想的效果。

 

五、Redis的内存回收策略

5.1 过期回收策略

删除到达过期时间的键对象。

Redis所有的键都可以设置过期属性，内部保存在过期字典中。由于进程内保存了大量的键，维护每个键精准的过期删除机制会导致消耗大量的CPU，对于单线程的Redis来说成本过高，因此Redis采用惰性删除和定时任务删除机制实现过期键的内存回收。

• 惰性删除：惰性删除用于当客户端读取带有超时属性的键时，如果已经超过键设置的过期时间，会执行删除操作并返回空，这种策略是出于节省CPU成本考虑，不需要单独维护TTL链表来处理过期键的删除。但是单独用这种方式存在内存泄露的问题，当过期键一直没有访问将无法得到及时删除，从而导致内存不能及时释放。正因为如此，Redis还提供另一种定时任务删除机制作为惰性删除的补充。

• 定时任务删除：Redis内部维护一个定时任务，默认每秒运行10次（通过配置hz控制）。定时任务中删除过期键逻辑采用了自适应算法，根据键的过期比例，使用快慢两种速率模式回收键。

　　比如：

1. 定时任务在每个数据库空间随机检查20个键，当发现过期时删除对应的键。
2. 如果超过检查数25%的键过期，循环执行回收逻辑直到不足25%或运行超时为止，慢模式下超时时间为25ms。
3. 如果之前回收键逻辑超时，则在Redis触发内部事件之前再次以快模式运行回收过期键任务，快模式下超时时间为1ms且2s内只能运行1次。
4. 快慢两种模式内部删除逻辑相同，只是执行的超时时间不同。

5.2 内存溢出控制策略

当Redis所用内存达到maxmemory上限时会触发相应的溢出控制策略。

　　具体策略受maxmemory-policy参数控制，Redis支持6种策略，如下所示：

1. noeviction：默认策略，当内存不足以容纳新写入数据时，新写入操作会报错。应该没人用吧。
2. allkeys-lru：当内存不足以容纳新写入数据时，在键空间中，移除最近最少使用的 Key。推荐使用，目前很多项目在用这种。
3. allkeys-random：当内存不足以容纳新写入数据时，在键空间中，随机移除某个 Key。很少用。
4. volatile-lru：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，移除最近最少使用的 Key。这种情况一般是把 Redis 既当缓存，又做持久化存储的时候才用。不推荐。
5. volatile-random：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，随机移除某个 Key。依然不推荐。
6. volatile-ttl：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，有更早过期时间的 Key 优先移除。不推荐。如果没有对应的键，则回退到noeviction策略。

六、Redis缓存雪崩、缓存穿透、缓存击穿

6.1缓存雪崩

redis雪崩是指，在某个时间key大量失效，或者redis服务宕机了，突然造成数据库访问压力急剧增大，像雪崩一样。redis雪崩危害巨大，甚至有可能导致整个服务器宕机，给公司造成巨大的经济损失。

解决方法：

1、建立Redis集群，避免宕机。

2、设置超时时间的时候要设置随机值，不要设置固定值

ttl [key]              查看key的超时时间，以秒计算，-1代表没有超时时间，如果不存在key或者key已经超时则为-2
expire [key] [seconds] 设置超时时间戳，以秒为单位

 

6.2缓存穿透

缓存穿透是指缓存和数据库中都没有这个数据，而用户不断发起请求。由于缓存是不命中时被动写的，并且出于容错考虑，如果从存储层查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到存储层去查询，失去了缓存的意义。

解决办法：

1、设置过滤器，对于不存在的key进行过滤。

例如：

布隆过滤器，将所有可能存在的数据哈希到一个足够大的bitmap中，一个一定不存在的数据会被 这个bitmap拦截掉，从而避免了对底层存储系统的查询压力。

2、不存在的key也加到缓存中，设置值为null，但它的过期时间会很短，最长不超过五分钟。（常用）

6.3缓存击穿

缓存击穿是指缓存中没有但数据库中有的数据（一般是缓存时间到期），某个时刻由于并发用户特别多，同时读缓存没读到数据，又同时去数据库去取数据，引起数据库压力瞬间增大，造成过大压力。

解决方案：
1.设置热点数据永不过期
2.加互斥锁（mutex key）

业界比较常用的做法，是使用mutex。简单地来说，就是在缓存失效的时候（判断拿出来的值为空），不是立即去load db，而是先使用缓存工具的某些带成功操作返回值的操作（比如Redis的SETNX或者Memcache的ADD）去set一个mutex key，当操作返回成功时，再进行load db的操作并回设缓存；否则，就重试整个get缓存的方法。

 

• 缓存雪崩    Redis服务宕机或大量key失效
• 缓存穿透    Redis和数据库都没有这个数据
• 缓存击穿    Redis中没有数据，数据库中有数据

七、Redis持久化

数据存放在内存中，虽然访问速度极快，但是数据存储却不安全，若出现断电等情况，内存中数据将会丢失，所以Redis有一系列持久化机制。

7.1RDB（快照）

RDB持久化是指在指定的时间间隔内将内存中的数据集快照写入磁盘。也是默认的持久化方式，这种方式是就是将内存中数据以快照的方式写入到二进制文件中，默认的文件名为dump.rdb。

修改redis.config中配置文件

 

 触发条件，900秒内，1个key值被修改。(两者必须同时满足才能够)

7.2AOF（全量）

AOF持久化后，每执行一条会更改Redis中的数据的命令，Redis就会将该命令写入硬盘中的AOF文件，这一过程显然会降低Redis的性能。

需要手动设置appendonly为yes