Redis学习总结
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API,其实当前最热门的NoSQL数据库之一,NoSQL还包括了Memcached和mongodb。关于Redis和Memcached的比较请点击:Redis 和 Memcached 各有什么优缺点。
Redis是NoSQL的一种,NoSQL(Not Only SQL),意即不仅仅是SQL,泛指非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题,包括超大规模数据的存储。
1 Redis安装
下载Redis的window安装包,LZ下载的是3.0版本,解压后如下图所示:
点击redis-server.exe启动Redis服务,点击redis-cli.exe启动Redis客户端。
2 Redis数据类型
2.1 keys
keys pattern 返回匹配模式的所有keys keys * : 查看该数据库中所有的key type key 查看key类型 ttl key 返回key的剩余过期时间,-1表示key不存在或者没有设置过过期时间 exists key 测试key是否存在
del key1 key2 … keyN randomkey 返回当前数据库随机选择的一个key,如数据库是空的,则返回空串 persist key : 取消掉key的过期时间
exprie key seconds 为key设置过期时间,单位s。返回1成功,0表示key已设置过过期时间或者不存在
Redis默认有16个数据库,序号分别是0-15,默认数据库序号为0,以下命令是其相关命令。
dbsize 返回数据库key数量 select db-index 选择数据库,redis默认16个,编号0-15 move key db-index 把key移到db-index数据库下 rename oldkey newkey 原子重命名 renamenx oldkey newkey 同上,newkey存在则失败 flushdb 删除当前db的所有key flushall 删除所有db的所有key ping 测试连接是否存活(返回PONG表示连接成功) echo xxx 在命令行打印xxx消息 info 返回redis服务器信息 config get key 返回对应的配置信息,config get * 返回所有配置信息 clear 清屏操作
2.2 string类型
string 是 redis 最基本的类型,而且 string 类型是二进制安全的。意思是 redis 的 string 可以包含任何数据。比如 jpg 图片或者序列化的对象。从内部实现来看其实 string 可以看作 byte 数组,最大上限是 1G 字节。下面是 string 类型的定义。
struct sdshdr { long len; long free; char buf[]; };
set key value 设置 key 对应的值为 string 类型的 value,返回 1 表示成功,0 失败 setnx key value 同上,如果 key 已经存在,返回 0 。nx 是 not exist 的意思 get key 获取 key 对应的 string 值,如果 key 不存在返回 nil getset key value 原子的设置 key 的值,并返回 key 的旧值。如果 key 不存在返回 nil mget key1 key2 ... keyN 一次获取多个 key 的值,如果对应 key 不存在,则对应返回 nil。
mset key1 value1 ... keyN valueN 一次设置多个 key 的值,成功返回 1 表示所有的值都设置了,失败 返回 0 表示没有任何值被设置 msetnx key1 value1 ... keyN valueN 同上,但是不会覆盖已经存在的 incr key 对 key 的值做加加操作,并返回新的值。注意 incr不是 int 的 value 会返回错误,incr 一 个不存在的 key,则设置 key 为 1 decr key 同上,但是做的是减减操作,decr 一个不存在 key,则设置 key 为-1 incrby key integer 同 incr,加指定值,key不存在时候会设置 key,并认为原来的value是 0 decrby key integer 同 decr,减指定值。decrby 完全是为了可读性,我们完全可以通过 incrby 一个负 值来实现同样效果,反之一样。 append key value 给指定 key 的字符串值追加 value,返回新字符串值的长度。 substr key start end 返回截取过的 key 的字符串值,注意并不修改 key 的值,下标是从 0 开始的。
注意:substr的start和end区间是前闭后闭的。
2.3 list
list类型实质是一个每个元素都是string类型的双向链表,所以push和pop命令的算法时间复杂度都是O(1),另外list还会记录链表的长度,所以llen操作也是O(1)。链表的最大长度是(2的32次方-1)。我们可以通过push,pop操作从链表的头部或者尾部添加删除元素。这使得list既可以用作栈,也可以用作队列。有意思的是list的 pop 操作还有阻塞版本的。当我们[lr]pop一个list对象是,如果list是空,或者不存在,会立即返回nil。但是阻塞版本的b[lr]pop 可以则可以阻塞,当然可以加超时时间,超时后也会返回nil。
lpush key string 在 key 对应 list 的头部添加字符串元素,返回 1 表示成功,0 表示 key 存在且不是 list类型 rpush key string 同上,在尾部添加 lpop key 从 list 的头部删除元素,并返回删除元素。如果 key 对应 list 不存在或者是空返回 nil,如果 key 对应值不是 list 返回错误 rpop key 同上,但是从尾部删除 llen key 返回 key 对应 list 的长度,key 不存在返回 0,如果 key 对应类型不是 list 返回错误 lrange key start end 返回指定区间内的元素,下标从 0 开始,负值表示从后面计算,-1 表示倒数第一个元素 ,key 不存在返回空列表 ltrim key start end 截取 list,保留指定区间内元素,成功返回 1,key 不存在返回错误
lset key index value 设置 list 中指定下标的元素值,成功返回 1,key 或者下标不存在返回错误 lrem key count value 从 key 对应 list 中删除 count 个和 value 相同的元素。count 为 0 时候删除全部 linsert key before value value2 在值value前插入值value2 linsert key after value value2 同上,不过是在value后插入值value2 blpop key1...keyN timeout 从左到右扫描返回对第一个非空 list 进行 lpop 操作并返回,比如 blpop list1 list2 list3 0 ,如果 list 不存在,list2,list3 都是非空则对 list2 做 lpop 并返回从 list2 中删除的元素。如果所有的 list 都是空或不存在,则会阻塞 timeout 秒,timeout 为 0 表示一直阻塞。当阻塞时,如果有client 对 key1...keyN 中的任意 key 进行 push 操作,则第一在这个 key 上被阻塞的 client 会立即返回。如果超时发生,则返回 nil。有点像 unix 的 select 或者 poll。 brpop 同 blpop,一个是从头部删除一个是从尾部删除。 rpoplpush srckey destkey 从 srckey 对应 list 的尾部移除元素并添加到 destkey 对应 list 的头部,最后返回被移除的元素值,整个操作是原子的.如果 srckey 是空或者不存在返回 nil。
2.4 set
redis 的 set 是 string 类型的无序集合。 set 元素最大可以包含(2 的 32 次方-1)个元素。 set 的是通 过 hash table 实现的,所以添加,删除,查找的复杂度都是 O(1)。 hash table 会随着添加或者删除自 动的调整大小。需要注意的是调整 hash table 大小时候需要同步(获取写锁)会阻塞其他读写操作。
sadd key value 添加一个 string 元素到,key 对应的 set 集合中,成功返回 1,如果元素已经在集合中返回 0,key 对应的 set 不存在返回错误 srem key value 从 key 对应 set 中移除给定元素,成功返回 1,如果 value 在集合中不存在或者key 不存在返回 0,如果 key 对应的不是 set 类型的值返回错误 spop key 删除并返回 key 对应 set 中随机的一个元素,如果 set 是空或者 key 不存在返回 nil srandmember key 同 spop,随机取 set 中的一个元素,但是不删除元素 smove srckey dstkey value 从 srckey 对应 set 中移除 value 并添加到 dstkey 对应 set 中,整个操作是原子的。成功返回 1,如果 value 在 srckey 中不存在返回 0,如果 key 不是 set 类型返回错误 scard key 返回 set 的元素个数,如果 set 是空或者 key 不存在返回 0 sismember key value 判断 value 是否在 set 中,存在返回 1, 0 表示不存在或者 key 不存在
smembers key 返回 key 对应 set 的所有元素,结果是无序的
sinter key1 key2...keyN 返回所有给定 key 的交集 sinterstore dstkey key1...keyN 同 sinter,但是会同时将交集存到 dstkey 下 sunion key1 key2...keyN 返回所有给定 key 的并集 sunionstore dstkey key1...keyN 同 sunion,并同时保存并集到 dstkey 下 sdiff key1 key2...keyN 返回所有给定 key 的差集 sdiffstore dstkey key1...keyN 同 sdiff,并同时保存差集到 dstkey 下
2.5 zset
和 set 一样, sorted set 也是 string 类型元素的集合,不同的是每个元素都会关联一个 double 类型 的 score ,元素顺序有score决定。 sorted set 的实现是 skip list 和 hash table 的混合体。 当元素被添加到集合中时,一个元素到 score 的映射被添加到 hash table 中,所以给定一个元素获取 score 的开销是 O(1),另一个 score 到元素 的映射被添加到 skip list 并按照 score 排序,所以就可以有序的获取集合中的元素。
zadd key score member 添加元素到集合,元素在集合中存在则更新对应 score,当该member已存在时,返回0,并更新该member的score值 zrem key member 删除指定元素, 1 表示成功,如果元素不存在返回 0 zincrby key n member 增加对应 member 的 score 值,然后移动元素并保持 skip list 保持有序。返回更新后的 score 值 zrank key member 返回指定元素在集合中的排名(下标) ,集合中元素是按 score 从小到大排序的 zrevrank key member 同上,但是集合中元素是按 score 从大到小排序 zrange key start end 类似 lrange 操作从集合中去指定区间的元素。返回的是有序结果 zrevrange key start end 同上,返回结果是按 score 逆序的 zrangebyscore key min max 返回集合中 score 在给定区间的元素 zcount key min max 返回集合中 score 在给定区间的数量 zcard key 返回集合中元素个数 zscore key element 返回给定元素对应的 score zremrangebyrank key min max 删除集合中排名在给定区间的元素 zremrangebyscore key min max 删除集合中 score 在给定区间的元素
2.6 hash
redis hash 是一个 string 类型的 field 和 value 的映射表。它的添加,删除操作都是 O(1) (平均).hash特别适合用于存储对象。相较于将对象的每个字段存成单个 string 类型。将一个对象存储在 hash 类型中会占用更少的内存,并且可以更方便的存取整个对象。省内存的原因是新建一个 hash 对象时开始是用 zipmap(又称为 small hash)来存储的。这个 zipmap 其实并不是 hash table,但是 zipmap 相比正常的 hash 实现可以节省不少 hash 本身需要的一些元数据存储开销。尽管 zipmap 的添加,删除,查找都是 O(n),但是由于一般对象的 field 数量都不太多。所以使用 zipmap 也是很快的,也就是说添加删除平均还是 O(1)。如果 field 或者 value 的大小超出一定限制后, redis 会在内部自动将 zipmap替换成正常的 hash 实现. 这个限制可以在配置文件中指定。
hset key field value 设置 hash field 为指定值,如果 key 不存在,则先创建 hget key field 获取指定的 hash field hmget key filed1....fieldN 获取全部指定的 hash filed hmset key filed1 value1 ... filedN valueN 同时设置 hash 的多个 field hincrby key field integer 将指定的 hash filed 加上给定值 hexists key field 测试指定 field 是否存在 hdel key field 删除指定的 hash field hlen key 返回指定 hash 的 field 数量 hkeys key 返回 hash 的所有 field hvals key 返回 hash 的所有 value hgetall key 返回 hash 的所有 filed 和 value
3 Redis高级特性
3.1 安全性
默认登录Redis密码,需要时可以自定义,设置密码时最好设置一个比较复杂的密码,防止暴力破解。因为redis执行速度非常快,正常配置下1s内可以进行150k次密码登录尝试。
打开redis.window.conf配置文件,加上requirepass luoxn28配置如下:
配置完成后,启动redis服务,注意,此时不要点击redis-server.exe启动,因此redis-server.exe启动使用的是默认配置,可以在cmd命令行下启动:
redis启动后,输入命令会提示没有认证权限,使用auth password即可:
3.2 主从复制
Redis主从复制配合和使用比较简单,通过主从复制可以允许多个slave server拥有和master server相同的数据库副本。
master可以拥有多个salve server,多个slave可以连接同一个master外,还可以连接到其他slave。主从复制不会阻塞master,同步数据时,master可以继续处理client,提高系统伸缩性。
Redis主从复制过程:
- Salve与master建立连接,发送sync同步命令。
- Master会启动一个后台进程,将数据库快照保存到文件中,同时master主进程会开始收集新的写命令缓存。
- 后台完成保存后,就将此文件发送给slave。
- slave将此文件保存到硬盘上。
Redis环境说明:
window下Redis服务作为master主机,window的IP为192.168.1.100,虚拟机下linux下的Redis作为slave,linux的IP为192.168.1.150。
在redis从机(linux环境)的redis.conf配置文件中加入以下配置:
主机写入2条记录到数据库,然后从从机中读取,注意:总计无法更新值,只能读取。
master主机 slave从机
3.3 事务处理
Redis对事务的支持还比较简单,redis只能保证一个client发起的事务中的命令可以连续执行,而中间不会插入其他client的命令。当一个client在一个连接中发出multi命令时,这个连接会进入一个事务的上下文,连接后续命令不会立即执行,而是先放到一个队列中,当执行exec命令时,redis会顺序的执行队列中的所有命令。
在事务处理中使用discard可以取消事务的处理。redis在事务中如果发生错误时事务退出,但是在该错误之前的操作无法回滚。
3.4 持久化
redis是一个支持持久化的内存数据库。snapshotting快照方式,默认的存储方式,默认写入dump.rdb的二进制文件中,可以配置redis在n秒内如果超过m个key被修改过就自动做快照append-only file aof方式,使用aof时候redis会将每一次的函 数都追加到文件中,当redis重启时会重新执行文件中的保存的写命令在内存中。
3.5 发布订阅消息
发布订阅(pub/sub)是一种消息通知模式,主要的目的是截除消息发布者和消息订阅者之间的耦合,Redis作为一个pub/sub的server,在订阅者和发布者之间起到了消息路由的功能。订阅者可以通过subscribe和psubscribe命令向redis server订阅自己感兴趣的消息类型,redis将消息类型称为通道(channel)。当发布者通过publish命令向redis server发送特定类型的信息时,订阅该信息类型的全部client都会收到此消息。
第一个redis客户端订阅changnel1,第二个redis客户端订阅channel1和channel2,第三个redis客户端负责产生channel1和channel2消息,然后观察第一个和第二个redis客户端是否收到了订阅消息。
3.6 虚拟内存
Redis的虚拟内存与操作系统的虚拟内存不是一回事,但是思路和目的都是相同的。就是暂时把不经常访问的数据从内存交换到磁盘中,从而腾出宝贵的内存空间用于其他需要访问的数据。尤其是对于redis这样的内存数据库,内存总是不够用的。除了可以将数据分割到多个redis server外。另外能够提高数据库容量的办法就是使用虚拟内存把那些不经常访问的数据交换到磁盘上。
如果想启用虚拟内存功能,在配置文件redis.conf中增加配置如下:
参考:
1、《Redis新手入门详解》