Redis查询_Tips
基础知识——介绍
Redis简介
REmote Dictionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。
Redis是一个完全开源免费的,使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、高性能的Key-Value数据库,并提供多种语言的API。
通常被称为数据结构服务器,因为值(value)可以是 字符串(String), 哈希(Hash), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型
Redis的应用
Redis 与其他 key - value 缓存产品有以下三个特点:
- Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。
- Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。
- Redis支持数据的备份,即master-slave模式的数据备份。
Redis 优势
- 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。
- 丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。
- 原子 – Redis的所有操作都是原子性的,意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务,即原子性,通过MULTI和EXEC指令包起来。
- 丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。
Redis与其他key-value存储有什么不同?
-
Redis有着更为复杂的数据结构并且提供对他们的原子性操作,这是一个不同于其他数据库的进化路径。Redis的数据类型都是基于基本数据结构的同时对程序员透明,无需进行额外的抽象。
-
Redis运行在内存中但是可以持久化到磁盘,所以在对不同数据集进行高速读写时需要权衡内存,因为数据量不能大于硬件内存。在内存数据库方面的另一个优点是,相比在磁盘上相同的复杂的数据结构,在内存中操作起来非常简单,这样Redis可以做很多内部复杂性很强的事情。同时,在磁盘格式方面他们是紧凑的以追加的方式产生的,因为他们并不需要进行随机访问。
Redis的服务器
Redis支持多个数据库,并且每个数据库的数据是隔离的不能共享,并且基于单机才有,如果是集群就没有数据库的概念。
Redis是一个字典结构的存储服务器,而实际上一个Redis实例提供了多个用来存储数据的字典,客户端可以指定将数据存储在哪个字典中。这与我们熟知的在一个关系数据库实例中可以创建多个数据库类似,所以可以将其中的每个字典都理解成一个独立的数据库。
每个数据库对外都是一个从0开始的递增数字命名,Redis默认支持16个数据库(可以通过配置文件支持更多,无上限),可以通过配置databases来修改这一数字。客户端与Redis建立连接后会自动选择0号数据库,不过可以随时使用SELECT命令更换数据库:
然而这些以数字命名的数据库又与我们理解的数据库有所区别。
- 首先Redis不支持自定义数据库的名字,每个数据库都以编号命名,开发者必须自己记录哪些数据库存储了哪些数据。
- 另外Redis也不支持为每个数据库设置不同的访问密码,所以一个客户端要么可以访问全部数据库,要么连一个数据库也没有权限访问。
- 最重要的一点是多个数据库之间并不是完全隔离的,比如FLUSHALL命令可以清空一个Redis实例中所有数据库中的数据。
综上所述,这些数据库更像是一种命名空间,而不适宜存储不同应用程序的数据。比如可以使用0号数据库存储某个应用生产环境中的数据,使用1号数据库存储测试环境中的数据,但不适宜使用0号数据库存储A应用的数据而使用1号数据库B应用的数据,不同的应用应该使用不同的Redis实例存储数据。
由于Redis非常轻量级,一个空Redis实例占用的内在只有1M左右,所以不用担心多个Redis实例会额外占用很多内存。
指定日志记录级别,Redis 总共支持四个级别:debug、verbose、notice、warning,默认为 notice
Redis数据结构
Redis 键(key)
- 用于管理 redis 的键。
Redis 字符串(String)
- 用于管理 redis 字符串值
- 是 redis 最基本的类型,你可以理解成与 Memcached 一模一样的类型,一个 key 对应一个 value
- 是二进制安全的。
- 可以包含任何数据。比如jpg图片或者序列化的对象。
- 是 Redis 最基本的数据类型,string 类型的值最大能存储 512MB。
Redis 哈希(Hash,散列)
- 一个string类型的field和value的映射表,
- hash特别适合用于存储对象,并且可以像数据库中update一个属性一样只修改某一项属性值(Memcached中需要取出整个字符串反序列化成对象修改完再序列化存回去)
- 存储、读取、修改用户属性
- 每个 hash 可以存储 232 - 1 键值对(40多亿)
- 是一个键值(key=>value)对集合,即编程语言中的Map类型
Redis 列表(List)
- 简单的字符串列表,按照插入顺序排序。
- 链表(双向链表)
- 可以添加一个元素到列表的头部(左边)或者尾部(右边)
- 一个列表最多可以包含 232 - 1 个元素 (4294967295, 每个列表超过40亿个元素)。
- 增删快,提供了操作某一段元素的API
- 最新消息排行等功能(比如朋友圈的时间线)
- 消息队列
Redis 集合(Set)
- 是 String 类型的无序集合
- 集合成员是唯一的,这就意味着集合中不能出现重复的数据。
- 集合是通过哈希表实现的,所以添加,删除,查找的复杂度都是 O(1)。哈希表实现,元素不重复
- 集合中最大的成员数为 232 - 1 (4294967295, 每个集合可存储40多亿个成员)。
- 为集合提供了求交集、并集、差集等操作
- 共同好友
- 利用唯一性,统计访问网站的所有独立ip
- 好友推荐时,根据tag求交集,大于某个阈值就可以推荐
Redis 有序集合(sorted set,zset)
- 有序集合和集合一样也是string类型元素的集合,且不允许重复的成员。
- 不同的是每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。将Set中的元素增加一个权重参数score,元素按score有序排列
- 有序集合的成员是唯一的,但分数(score)却可以重复。
- 集合是通过哈希表实现的,所以添加,删除,查找的复杂度都是O(1)。
- 集合中最大的成员数为 232 - 1 (4294967295, 每个集合可存储40多亿个成员)。
- 数据插入集合时,已经进行天然排序
- 排行榜
- 带权重的消息队列
Redis命令执行
Redis 命令
- 用于在 redis 服务上执行操作
- 要在 redis 服务上执行命令需要一个 redis 客户端。
Redis 连接
- 连接命令主要是用于连接 redis 服务。
Redis 服务器
- 服务器命令主要是用于管理 redis 服务。
Redis特性
Redis 发布订阅
- 发布订阅(pub/sub)是一种消息通信模式:发送者(pub)发送消息,订阅者(sub)接收消息。
- 客户端可以订阅任意数量的频道。
- 频道 channel1 , 以及订阅这个频道的三个客户端 —— client2 、 client5 和 client1 之间的关系
- 当有新消息通过 PUBLISH 命令发送给频道 channel1 时, 这个消息就会被发送给订阅它的三个客户端:
- 频道 channel1 , 以及订阅这个频道的三个客户端 —— client2 、 client5 和 client1 之间的关系
Redis 事务
-
事务可以一次执行多个命令, 并且带有以下三个重要的保证:
- 批量操作在发送 EXEC 命令前被放入队列缓存。
- 收到 EXEC 命令后进入事务执行,事务中任意命令执行失败,其余的命令依然被执行。
- 在事务执行过程,其他客户端提交的命令请求不会插入到事务执行命令序列中。
-
一个事务从开始到执行会经历以下三个阶段:
- 开始事务。
- 命令入队。
- 执行事务。
- 单个 Redis 命令的执行是原子性的,但 Redis 没有在事务上增加任何维持原子性的机制,所以 Redis 事务的执行并不是原子性的。
- 事务可以理解为一个打包的批量执行脚本,但批量指令并非原子化的操作,中间某条指令的失败不会导致前面已做指令的回滚,也不会造成后续的指令不做。
- It's important to note that even when a command fails, all the other commands in the queue are processed – Redis will not stop the processing of commands.
Redis 脚本
- 使用 Lua 解释器来执行脚本。 Redis 2.6 版本通过内嵌支持 Lua 环境。执行脚本的常用命令为 EVAL。
Redis高级
Redis 数据备份与恢复
- Redis SAVE 命令用于创建当前数据库的备份。
- 将在 redis 安装目录中创建dump.rdb文件。
- 创建 redis 备份文件也可以使用命令 BGSAVE,该命令在后台执行。
- 如果需要恢复数据,只需将备份文件 (dump.rdb) 移动到 redis 安装目录并启动服务即可。
- 获取 redis 目录可以使用 CONFIG 命令
Redis 安全
- 通过 redis 的配置文件设置密码参数,这样客户端连接到 redis 服务就需要密码验证,这样可以让你的 redis 服务更安全。
- 设置密码后,客户端连接 redis 服务就需要密码验证,否则无法执行命令。
Redis 性能测试
- 性能测试是通过同时执行多个命令实现的。
- 该命令是在 redis 的目录下执行的,而不是 redis 客户端的内部指令。
Redis 客户端连接
-
Redis 通过监听一个 TCP 端口或者 Unix socket 的方式来接收来自客户端的连接,当一个连接建立后,Redis 内部会进行以下一些操作:
- 首先,客户端 socket 会被设置为非阻塞模式,因为 Redis 在网络事件处理上采用的是非阻塞多路复用模型。
- 然后为这个 socket 设置 TCP_NODELAY 属性,禁用 Nagle 算法(Nagle算法是以他的发明人John Nagle的名字命名的,它用于自动连接许多的小缓冲器消息;这一过程(称为nagling)通过减少必须发送包的个数来增加网络软件系统的效率)
- 然后创建一个可读的文件事件用于监听这个客户端 socket 的数据发送
- 在 Redis2.4 中,最大连接数是被直接硬编码在代码里面的,而在2.6版本中这个值变成可配置的。
- maxclients 的默认值是 10000,你也可以在 redis.conf 中对这个值进行修改。
Redis 管道技术
-
是一种基于客户端-服务端模型以及请求/响应协议的TCP服务。这意味着通常情况下一个请求会遵循以下步骤:
- 客户端向服务端发送一个查询请求,并监听Socket返回,通常是以阻塞模式,等待服务端响应。
- 服务端处理命令,并将结果返回给客户端。
- 管道技术可以在服务端未响应时,客户端可以继续向服务端发送请求,并最终一次性读取所有服务端的响应。
- 多命令一次性向 redis 服务提交,并最终一次性读取所有服务端的响应
- 最显著的优势是提高了 redis 服务的性能。
- 开启了管道操作后,往返延时已经被改善得相当低了。
Redis 分区
- 分区是分割数据到多个Redis实例的处理过程,因此每个实例只保存key的一个子集。
-
分区的优势
- 通过利用多台计算机内存的和值,允许我们构造更大的数据库。
- 通过多核和多台计算机,允许我们扩展计算能力;通过多台计算机和网络适配器,允许我们扩展网络带宽。
-
分区的不足:redis的一些特性在分区方面表现的不是很好:
- 涉及多个key的操作通常是不被支持的。举例来说,当两个set映射到不同的redis实例(???)上时,你就不能对这两个set执行交集操作。
- 涉及多个key的redis事务不能使用。
- 当使用分区时,数据处理较为复杂,比如你需要处理多个rdb/aof文件,并且从多个实例和主机备份持久化文件。
- 增加或删除容量也比较复杂。redis集群大多数支持在运行时增加、删除节点的透明数据平衡的能力,但是类似于客户端分区、代理等其他系统则不支持这项特性。然而,一种叫做presharding的技术对此是有帮助的。
-
分区类型
-
Redis 有两种类型分区。 假设有4个Redis实例 R0,R1,R2,R3,和类似user:1,user:2这样的表示用户的多个key,
-
对既定的key有多种不同方式来选择这个key存放在哪个实例中。也就是说,有不同的系统来映射某个key到某个Redis服务。
-
范围分区:最简单的分区方式是按范围分区,就是映射一定范围的对象到特定的Redis实例。
-
比如,ID从0到10000的用户会保存到实例R0,ID从10001到 20000的用户会保存到R1,以此类推。
-
这种方式是可行的,并且在实际中使用,不足就是要有一个区间范围到实例的映射表。这个表要被管理,同时还需要各 种对象的映射表,通常对Redis来说并非是好的方法
-
-
哈希分区:另外一种分区方法是hash分区。
-
这对任何key都适用,也无需是object_name:这种形式,像下面描述的一样简单:
- 用一个hash函数将key转换为一个数字,比如使用crc32 hash函数。对key foobar执行crc32(foobar)会输出类似93024922的整数。
- 对这个整数取模,将其转化为0-3(取决于redis实例的个数)之间的数字,就可以将这个整数映射到4个Redis实例中的一个了。93024922 % 4 = 2,就是说key foobar应该被存到R2实例中。
- 注意:取模操作是取除的余数,通常在多种编程语言中用%操作符实现。
-
-
-
Redis应用过程中的问题、解决
问题:
- 使用redis的sortlist,使用唯一的key来存储大量(上千条)的list数据,使用getAll来获取全部数据=》响应速度慢
分析:
- 数据量大,getAll的查找的复杂度都是 O(n)=》响应慢
- 因为唯一的key,对应大量数据的value,造成数据量【只能存在一个redis数据库中中(分布式情境下,容易造成负载不均:内存、cpu,影响稳定性、响应性)
- 支持多个数据库,并且每个数据库的数据是隔离的不能共享;
- 实际上一个Redis实例提供了多个用来存储数据的字典,客户端可以指定将数据存储在哪个字典中。这与我们熟知的在一个关系数据库实例中可以创建多个数据库类似,所以可以将其中的每个字典都理解成一个独立的数据库
- 如果redis是基于单机,则一旦一个命令执行时间过长,后续所有的命令都必须等待,影响系统中的其他查询
解决方案:
- 将value分拆,形成多层次查询,减少单个查询带来的响应速度慢
- 且数据存储可以分布在多个redis服务器上,负载更加均衡,避免单个节点(数据库)性能瓶颈(内存、cpu)
- 可以使用管道技术,多个命令一次性向 redis 服务提交,并最终一次性读取所有服务端的响应,减少了网络延迟(有效的避免网络带来的响应时延)
反思:
唯一key对应的value数据的大小衡量:
- 取决于数据量的大小
- 数据量大:应该考虑数据拆分,多层级查询
- 数据量小:直接查询即可
- 取决于数据访问的频率:
- 例如:1次/天;100次/分钟
- 访问频繁高:唯一key对应的value数据量,应该越小。应该考虑数据拆分,多层级查询
- 访问频率低:可以考虑多级缓存(例如:使用Memcached做redis的二级缓存)
- 具体情况具体分析,两者结合起来考虑
扩展知识:
Memcached:分布式内存对象缓存系统。
MongoDB:一个基于分布式文件存储的数据库
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 没有源码,如何修改代码逻辑?
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· DeepSeek R1 简明指南:架构、训练、本地部署及硬件要求
· 没有源码,如何修改代码逻辑?
· NetPad:一个.NET开源、跨平台的C#编辑器
· 面试官:你是如何进行SQL调优的?