Redis各种数据类型的使用场景

Redis的六种特性

Strings

Hashs

Lists

l Sets

l Sorted Sets

Pub/Sub

Redis各特性的应用场景

Strings

Strings 数据结构是简单的key-value类型,value其实不仅是String,也可以是数字。

常用方法

方法

说明

特性

set

设置key对应的的值为String类型的value

   

get

获取对应key对应的String的值,如果不存在返回nil

   

setnx

设置可以为对应的值为String类型的value,如果key存在返回0不覆盖,不存在返回1

nx的意思为not exist

Set the value of a key, only if the key does not exist

setex

置key对应的值为String类型的value,并指定此键值对应的有效期

SETEX key seconds value

例:setex mykey 10 你好

setrange

设置key的value的子字符串

setrange key 位置 替换的内容

如果替换内容没有原value长,则原value剩余的内容将被保留

mset

一次设置多个key的值,成功返回ok,失败返回0,要成功都成功,要不成功全部失败。

mset key1 内容一 key2 内容二

msetnx

一次设置多个key的值,成功返回ok,失败返回0,不覆盖已经存在的值,要成功都成功,要失败都失败。

   

getset

设置key的值并返回key的旧值

getset key newValuse

getrange

获取key对应的value子字符串

getrange key 0 5 //获取前6个字符

mget

批量获取

mget key1 key2 key3 //没有设置则返回空

incr

对key的值做增加操作,并返回新的值

   +1

incrby

对可以的value加指定的值,

key如果不存在会设置key并value为0

incrby key1 5 //对key1的值加5

decr

对key的值做减减操作

    -1

decrby

对key的值减去指定值

   

append

给指定key的字符串追加value,返回新的字符串长度

   

strlen

取指定key的value值的长度

   

使用场景

常规key-value缓存应用。

常规计数: 微博数, 粉丝数

Hashs

在Memcached中,我们经常将一些结构化的信息打包成hashmap,在客户端序列化后存储为一个字符串的值,比如用户的昵称、年龄、性别、积分等,这时候在需要修改其中某一项时,通常需要将所有值取出反序列化后,修改某一项的值,再序列化存储回去。这样不仅增大了开销,也不适用于一些可能并发操作的场合(比如两个并发的操作都需要修改积分)。而Redis的Hash结构可以使你像在数据库中Update一个属性一样只修改某一项属性值。

它是一个String类型的field和value的映射表,它的添加和删除都是平均的,hash特别适合用于存储对象,对于将对象存储成字符串而言,hash会占用更少的内存,并且可以更方便的存取整个对象. 它和java的HashMap完全类似

常用方法

方法

说明

特性

hset

设置一个hash 的field为指定值,如果key不存在则先创建

hset tab ke1 val1

hget

获取某个hash的某个field值

hget tab ke1

hsetnx

类似string只是操作的是hash

   

hmset

批量设置hash的内容

   

hmget

获取hash表的全部key值

Hmget key field1 field2

hincrby

给hash表的某个字段增加值

   

hexists

判断hash表中某个key是否存在

   

hlen

返回hash表中的key数量

   

hdel

删除指定hash表的某个键值对

   

hkeys

返回hash表中所有的key

    

hvals

返回hash表中所有的value

   

hgetall

 获取hash表中所有key和value

   

使用场景

存储部分变更数据

如用户信息等。

Lists

Lists 就是链表,略有数据结构知识的人都应该能理解其结构。使用Lists结构,我们可以轻松地实现最新消息排行等功能。Lists的另一个应用就是消息队列,可以利用Lists的PUSH操作,将任务存在Lists中,然后工作线程再用POP操作将任务取出进行执行。Redis还提供了操作Lists中某一段的api,你可以直接查询,删除Lists中某一段的元素。

 

Redis的list是每个子元素都是String类型的双向链表,可以通过push和pop操作从列表的头部或者尾部添加或者删除元素,这样List即可以作为栈,也可以作为队列。

常用方法

方法

说明

特性

lpush

在key所对应的list头部添加一个元素

l的意思是left

rpush

在key说对应的list尾部添加一个元素

r的意思是right

lrange

显示list里面的内容

lrange 0 -1 //全部显示

linsert

在key对应的list

linsert mylist before one myvalue

lset

设置list中指定下标元素的值

lset mylist index myvalue

lrem

从key对应的list中删除n个和value相同的元素,结果返回影响元素的个数,n<0从尾部开始删除,n=0全删除

lrem mylist count "value"

ltrim

保留指定key范围内的数据,返回ok成功

ltrim mylist 0 3 //0-3是保留的范围

lpop

从list的头部删除一个元素,并返回该删除的元素

 

rpop

从list的尾部弹出一个元素,并返回该删除的元素

 

rpoplpush

从第一个list的尾部元素异常元素并添加到第二个list的头部

rpoplpush mylistA mylistB

lindex

返回list位置的元素

lindex mylist 3

llen

返回list中元素的个数

llen mylist

使用场景

消息队列系统

使用list可以构建队列系统,使用sorted set甚至可以构建有优先级的队列系统。

比如:将Redis用作日志收集器

实际上还是一个队列,多个端点将日志信息写入Redis,然后一个worker统一将所有日志写到磁盘。

取最新N个数据的操作

记录前N个最新登陆的用户Id列表,超出的范围可以从数据库中获得。

//把当前登录人添加到链表里

ret = r.lpush("login:last_login_times", uid)

//保持链表只有N位

ret = redis.ltrim("login:last_login_times", 0, N-1)

//获得前N个最新登陆的用户Id列表

last_login_list = r.lrange("login:last_login_times", 0, N-1)

 

比如sina微博:

在Redis中我们的最新微博ID使用了常驻缓存,这是一直更新的。但是我们做了限制不能超过5000个ID,因此我们的获取ID函数会一直询问Redis。只有在start/count参数超出了这个范围的时候,才需要去访问数据库。

我们的系统不会像传统方式那样“刷新”缓存,Redis实例中的信息永远是一致的。SQL数据库(或是硬盘上的其他类型数据库)只是在用户需要获取“很远”的数据时才会被触发,而主页或第一个评论页是不会麻烦到硬盘上的数据库了。

Sets

Sets 就是一个集合,集合的概念就是一堆不重复值的组合。利用Redis提供的Sets数据结构,可以存储一些集合性的数据。

案例:

在微博应用中,可以将一个用户所有的关注人存在一个集合中,将其所有粉丝存在一个集合。Redis还为集合提供了求交集、并集、差集等操作,可以非常方便的实现如共同关注、共同喜好、二度好友等功能,对上面的所有集合操作,你还可以使用不同的命令选择将结果返回给客户端还是存集到一个新的集合中。

 

Set是集合,是String类型的无序集合,set是通过hashtable实现的,概念和数学中个的集合基本类似,可以交集,并集,差集等等,set中的元素是没有顺序的。

常用方法

方法

说明

特性

sadd

向名称为key的set中添加元素,返回影响元素的个数,0为失败,1为成功

sadd myset value

smembers

查看集合中所有的成员

smebers myset

srem

删除集合的一个元素

srem myset two

spop

随机返回并删除set中一个元素

spop myset

sdiff

返回所有set与第一个set的差集

sdiff myset1 myset2

sdiffstore

比较差集并且存储到另一个set中,返回1代表成功

sdiffstore setstoreSet mySet1 myset2

sinter

返回所有给定集合的交集

sinter myset1 mysert2 //1集合和2集合的交集

sinterstore

返回给定集合的交集并存储到另一个集合

sinterstore desset myset1 myset2 //存到desset集合中

sunion

返回所有给定集合的并集

sunion set1 set2

sunionstore

返回所有的并集并且存储到另一个集合中,返回影响的元素个数

sunionstore destSet myset1 myset2

smove

把第一个集合的元素移动到第二个集合中

smove myset myset 你好

scard

返回集合中元素的个数

scard myset1

sismember

测试某个元素是否在集合中,返回0是不是,大于0是存在

sismember mykey1 你好

srandmember

随机返回个集合中的元素

srandmemeber myset1

使用场景

交集,并集,差集:(Set)

//book表存储book名称

set book:1:name    ”The Ruby Programming Language”

set book:2:name     ”Ruby on rail”

set book:3:name     ”Programming Erlang”

//tag表使用集合来存储数据,因为集合擅长求交集、并集

sadd tag:ruby 1

sadd tag:ruby 2

sadd tag:web 2

sadd tag:erlang 3

 

//即属于ruby又属于web的书?

 inter_list = redis.sinter("tag.web", "tag:ruby")

//即属于ruby,但不属于web的书?

 inter_list = redis.sdiff("tag.ruby", "tag:web")

//属于ruby和属于web的书的合集?

 inter_list = redis.sunion("tag.ruby", "tag:web")

获取某段时间所有数据去重值

这个使用Redis的set数据结构最合适了,只需要不断地将数据往set中扔就行了,set意为集合,所以会自动排重。

Sorted Sets

和Sets相比,Sorted Sets增加了一个权重参数score,使得集合中的元素能够按score进行有序排列,比如一个存储全班同学成绩的Sorted Sets,其集合value可以是同学的学号,而score就可以是其考试得分,这样在数据插入集合的时候,就已经进行了天然的排序。可以用Sorted Sets来做带权重的队列,比如普通消息的score为1,重要消息的score为2,然后工作线程可以选择按score的倒序来获取工作任务。让重要的任务优先执行。

常用方法

方法

说明

特性

zadd

向zset中添加元素member,score 用于排序,如果元素存在,则更新其顺序,返回0代表没添加成功

ZADD key score member

zadd myset 3 itim

zrange

取出集合中的元素

zrange myset 0 -1 withscores//显示序号

by index

zrem

删除名称为key的zset中的元素member

zrem myset itim

zincrby

修改元素的排序,如果元素不存在则添加该元素,且排序的score值为增加值

zincrby myzset score itim

zrank

返回元素在集合中的排序位置,就是索引值

zrank myzset itim //itim在集合中的位置

zrevrank

返回从大到小的排序索引值,就是逆序位置

zrevrangk myzset itim//逆序的位置

zrevrange

返回集合中从大到小排序(降序)的,索引start到end的所有元素

zrevrange myzset 0 -1 //逆序后的元素

zrangebyscore

根据排序索引的scores来返回元素

zrangebyscore myzset 1 3 withscores//

zcount

返回集合中给定区间的数量

zcount myzset 2 4 //集合中2-4索引元素的个数

zcard

返回集合中所有元素的个数

zcard myzset //返回所有元素的个数

zremrangebyrank

删除集合中排序在给定区间的所有元素(按索引删除)

zremrangebyrank myzset 2 3 //

zremrangebyscore

删除集合中在给定排序区间的元素 (按顺序删除)

zremrangebyscore myzset 2 5 //

使用场景

排行榜应用,取TOP N操作

这个需求与上面需求的不同之处在于,前面操作以时间为权重,这个是以某个条件为权重,比如按顶的次数排序,这时候就需要我们的sorted set出马了,将你要排序的值设置成sorted set的score,将具体的数据设置成相应的value,每次只需要执行一条ZADD命令即可。

//将登录次数和用户统一存储在一个sorted set里

zadd login:login_times 5 1

zadd login:login_times 1 2

zadd login:login_times 2 3

ZADD key score member

//当用户登录时,对该用户的登录次数自增1

ret = r.zincrby("login:login_times", 1, uid)

//那么如何获得登录次数最多的用户呢,逆序排列取得排名前N的用户

ret = r.zrevrange("login:login_times", 0, N-1)

ZREVRANGE key start stop [WITHSCORES]

 

比如在线游戏的排行榜,根据得分你通常想要:

         - 列出前100名高分选手

         - 列出某用户当前的全球排名

    这些操作对于Redis来说小菜一碟,即使你有几百万个用户,每分钟都会有几百万个新的得分。

    模式是这样的,每次获得新得分时,我们用这样的代码:

    ZADD leaderboard <score> <username>

    你可能用userID来取代username,这取决于你是怎么设计的。

    得到前100名高分用户很简单:ZREVRANGE leaderboard 0 99。

用户的全球排名也相似,只需要:ZRANK leaderboard <username>。

ZRANK key member

Determine the index of a member in a sorted set

需要精准设定过期时间的应用

比如你可以把上面说到的sorted set的score值设置成过期时间的时间戳,那么就可以简单地通过过期时间排序,定时清除过期数据了,不仅是清除Redis中的过期数据,你完全可以把Redis里这个过期时间当成是对数据库中数据的索引,用Redis来找出哪些数据需要过期删除,然后再精准地从数据库中删除相应的记录。

范围查找

比如:有一个IP范围对应地址的列表,现在需要给出一个IP的情况下,迅速的查找到这个IP在哪个范围,也就是要判断此IP的所有地。

例如:查询IP是否存在的问题;

ADSM,查询IP是否在其他分组中存在。写json文件

sadd向名称为key的set中添加元素,返回影响元素的个数,0为失败,1为成功

例如:有下面两个范围,10-20和30-40

A_start 10, A_end 20

B_start 30, B_end 40

我们将这两个范围的起始位置存在Redis的Sorted Sets数据结构中,基本范围起始值作为score,范围名加start和end为其value值:

redis 127.0.0.1:6379> zadd ranges 10 A_start

(integer) 1

redis 127.0.0.1:6379> zadd ranges 20 A_end

(integer) 1

redis 127.0.0.1:6379> zadd ranges 30 B_start

(integer) 1

redis 127.0.0.1:6379> zadd ranges 40 B_end

(integer) 1

这样数据在插入Sorted Sets后,相当于是将这些起始位置按顺序排列好了。

现在我需要查找15这个值在哪一个范围中,只需要进行如下的zrangbyscore查找:

redis 127.0.0.1:6379> zrangebyscore ranges (15 +inf LIMIT 0 1

1) "A_end"

这个命令的意思是在Sorted Sets中查找大于15的第一个值。(+inf在Redis中表示正无穷大,15前面的括号表示>15而非>=15)

查找的结果是A_end,由于所有值是按顺序排列的,所以可以判定15是在A_start到A_end区间上,也就是说15是在A这个范围里。至此大功告成。

当然,如果你查找到的是一个start,比如咱们用25,执行下面的命令

redis 127.0.0.1:6379> zrangebyscore ranges (25 +inf LIMIT 0 1

1) "B_start"

返回结果表明其下一个节点是一个start节点,也就是说25这个值不处在任何start和end之间,不属于任何范围。

Pub/Sub

Pub/Sub 从字面上理解就是发布(Publish)与订阅(Subscribe),在Redis中,你可以设定对某一个key值进行消息发布及消息订阅,当一个key值上进行了消息发布后,所有订阅它的客户端都会收到相应的消息。这一功能最明显的用法就是用作实时消息系统,比如普通的即时聊天,群聊等功能。

案例:

Qlocenter 下发策略

使用场景

Pub/Sub构建实时消息系统

Redis的Pub/Sub系统可以构建实时的消息系统

比如很多用Pub/Sub构建的实时聊天系统的例子。

 

 

 

通过最近一直看公司的代码慢慢了解实际的运用和使用,记录下各种数据类型在我们项目中的运用,结合php的数组和mysql数据一起对比记录。

整个项目的背景介绍,类似与豆瓣的社区,有帖子,有图片,有相册,有小组,有粉丝,可以评论,可以赞。

1.字符串(String)

字符串的功能比较简单单一,容易理解的,类比一个数组的key-value。由于其数据结构的简单,所以也是来做简单的事,比如统计所有的小组数目,所有的相册数目,因为这些数据属于整个项目。

 

  1. //用户创建相册的操作,以ThinkPHP的ORM为例
  2. $data = array('name'=>'梦康的相册','create_id'=>'1','create_time'=>time());
  3. $res = M('ablum')->add($data);
  4. if($res){
  5. //全站相册总数加一
  6. $redis->incr('ablumCount');
  7. }

 

那么某个用户的相册总数应该怎么存呢?

可以继续使用String来存储

 

  1. $reids->set('user:1:ablumNum',1000)//设置id为1的用户的相册数为1000

 

上面的key的设计原则是:object-type:id:field,从对象的角度来分析,一个用户对象,name,ablumNum,groupNum等都是他的成员属性,如果是从数据的角度来分析,则是user表里面的id为1的用户的ablum_num字段的数据。

新增一个需求:如果需要取出相册总数前十的用户,怎么排序呢?

就应该考虑使用有序集合(sorted sets),这个后面说。

2.哈希(Map)

hashMap的使用场景,hashMap特别适合用于存储对象。 相较于将对象的每个字段存成单个string类型,将一个对象存储在hash类型中会占用更少的内存,并且可以更方便的存取整个对象。

用户ID为查找的key,存储的value用户对象包含姓名,年龄,生日等信息,如果用普通的key/value结构来存储,主要有以下2种存储方式:

第一种方式将用户ID作为查找key,把其他信息封装成一个对象以序列化的方式存储,这种方式的缺点是,增加了序列化/反序列化的开销,并且在需要修改其中一项信息时,需要把整个对象取回。

第二种方法是这个用户信息对象有多少成员就存成多少个key-value对儿,用用户ID+对应属性的名称作为唯一标识(id:name,id:age,id:birthday)来取得对应属性的值,虽然省去了序列化开销和并发问题,但是一个用户ID为重复存储了三次,如果存在大量这样的数据,内存浪费还是非常大的。

详见:http://tech.it168.com/a2011/0818/1234/000001234478_all.shtml

3.列表(list)

redis的list类型其实就是一个每个子元素都是string类型的双向链表。我们可以通过push,pop操作从链表的头部或者尾部添加删除元素。这使得list既可以用作栈,也可以用作队列。
产品运营总会让你展示最近、最热、点击率最高、活跃度最高等等条件的top list。注意list有做排行榜的功能,但是list却不方便在中间插入。如果某一个排行榜,确定是一小时跑一次,而不用中途又去人工干预,那么就可以使用list。如果需要后期人工干预排行榜,则最好是使用zsets的结构,可以后期插入。

4.集合(sets)

集合使用的好处是快速往集合里插入一个元素,删除一个元素,确定一个元素是否存在于该集合。使用到的场景就是一个用户的粉丝,数据模型就是一对多的情况,一个用户可能有N个粉丝,所以就可以选择集合的数据结构。

 

  1. $key = "user:$user:fans";
  2. //$fansArr 是粉丝数组
  3. foreach($fansArr as $fans){
  4. $redis->sAdd($key, $fans['id']);
  5. }

 

如果某一个用户对其取消了关注,那么就从该集合里删除。如果之前选择了list则不方便实现了

 

  1. $redis->sMove($key, $fans['id']);

 

5.有序集合(zsets)

有序集合在项目中使用的最多,因为其比较方便做分页查询,比较容易控制顺序。比如我们项目中对搜索结果的数据就以zsets的结构来存的。因为方便排序。比如一个壁纸的关键字会有很多图片,以大家的点赞数来降序排列。

  1. $key = "tagid:$id:search";
  2. $redis->multi(Redis::PIPELINE);
  3. foreach ($imagesArr as $image){
  4. //把点赞数作为权重,图片的id作为值
  5. $redis->zAdd($key, $image['fav_num'], $image['id']);
  6. }
  7. $redis->exec();

 

比如现在壁纸的搜索结果已经存在了,但是又有一位原创用户自己手绘的质量非常高的壁纸上传,这个时候,这个质量非常高的壁纸却没有阅读量,就没有点赞数,也不会存在于搜索列表的前面,所以需要人工干预下,给该图片增加一些权重,放入对应的缓存中,这样就实时更新了。

以上的这些情景基本涵盖了redis的一些比较有特色的使用情况吧。以后有新的收获再补。

posted @ 2017-05-15 09:26  datang6777  阅读(413)  评论(0编辑  收藏  举报