Redis 实现队列优先级
原创 2015-12-25 杜亦舒 性能与架构
通常使用一个list来实现队列操作,这样有一个小限制,所以的任务统一都是先进先出,如果想优先处理某个任务就不太好处理了
这就需要让队列有优先级的概念,我们就可以优先处理高级别的任务
实现方式
(1)单一列表实现
队列正常的操作是 左进右出(lpush,rpop)
为了先处理高优先级任务,在遇到高级别任务时,可以直接插队,直接放入队列头部(rpush),这样,从队列头部(右侧)获取任务时,取到的就是高优先级的任务(rpop)
相当于普通任务按照队列结构,碰到高优先级任务,就按照堆栈结构
优点是实现简单,缺点是高级别任务总是后进先出
适用于简单的队列需求,高优先级任务较少的情况
(2)多队列实现
使用两个队列,一个普通队列,一个高级队列,针对任务的级别放入不同的队列
获取任务时也很简单,redis的BRPOP命令可以按顺序从多个队列中取值
BRPOP会按照给出的 key 顺序查看,并在找到的第一个非空 list 的尾部弹出一个元素
redis> BRPOP list1 list2 0
list1 做为高优先级任务队列
list2 做为普通任务队列
这样就实现了先处理高优先级任务,当没有高优先级任务时,就去获取普通任务
(3)使用权值实现
如果优先级比较复杂,比如有10几个甚至更多的优先级别,方法2就不太方便了
例如有3个级别(1 2 3),用权值来表示
有4个元素需要入队
a级别1,b级别2,c级别3,d级别3
使用 lpush 把他们入队,同时设置权值
redis> lpush mylist a
redis> set mylist_score_a 1
redis> lpush mylist b
redis> set mylist_score_b 2
redis> lpush mylist c
redis> set mylist_score_a 3
redis> lpush mylist d
redis> set mylist_score_a 3
根据权值排序,并取出排名第一的元素
redis> sort mylist by mylist_score_* limit 0 1
结果为:c,正是我们想要的,c 的级别最高,并且是先进入队列的
获取完成后,要移除此元素
redis> lrem mylist 0 c
总结
方式1最简单,但实际应用比较局限,方式3可以实现复杂优先级,但实现比较复杂,不利于维护
方式2是推荐用法,实际应用最为合适
方式1、3可以作为redis应用思路的一个拓展