pyhon之对memcached及redis操作

Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon )是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。

memcached服务端以及python memcached模块安装省略,有兴趣的可以自己去查找文档,本篇主要为对memcached的使用。

一、memcached创建和获取值

1 import memcache
2 M=memcache.Client(['10.0.0.8:12000'],debug=True)
3 M.set('name','pan')
4 result=M.get('name')
5 print(result)

结果为:pan

注:

python-memcached模块原生支持集群操作,其原理是在内存维护一个主机列表,且集群中主机的权重值和主机在列表中重复出现的次数成正比

1     主机     权重
2     1.1.1.1   1
3     1.1.1.2   2
4     1.1.1.3   1
5  
6 那么在内存中主机列表为:
7     host_list = ["1.1.1.1", "1.1.1.2", "1.1.1.2", "1.1.1.3", ]

 

二、python memcached模块常用操作方法

1.add

添加一条键值对,如果已经存在的 key,重复执行add操作异常

1 import memcache
2 M=memcache.Client(['10.0.0.8:12000'],debug=True)
3 M.add('name','PAN')

报错:MemCached: while expecting 'STORED', got unexpected response 'NOT_STORED'

1 import memcache
2 M=memcache.Client(['10.0.0.8:12000'],debug=True)
3 M.add('Name','PAN')  #没有重复键时则不会报错

 

2.replace
replace 修改某个key的值,如果key不存在,则异常

1 import memcache
2 M=memcache.Client(['10.0.0.8:12000'],debug=True)
3 M.replace('name','wenbin') #name键必须存在,否则报错
4 R=M.get('name')
5 print(R)

结果为:打印wenbin

 

3.set 和 set_multi

set            设置一个键值对,如果key不存在,则创建,如果key存在,则修改

1 import memcache
2 M=memcache.Client(['10.0.0.8:12000'],debug=True)
3 M.set('name','PANwenbin') #当前name已存在,所以结果是对name的修改
4 R=M.get('name')
5 print(R)

set_multi   设置多个键值对,如果key不存在,则创建,如果key存在,则修改

1 import memcache
2 M=memcache.Client(['10.0.0.8:12000'],debug=True)
3 M.set_multi({'name':'PANwenbin','age':'12'})#设置多个值时,注意以字典形式存储
4 R=M.get('name')
5 Age=M.get('age')
6 print(R,Age)

 

4、delete 和 delete_multi

delete             在Memcached中删除指定的一个键值对

1 import memcache
2 M=memcache.Client(['10.0.0.8:12000'],debug=True)
3 M.set('name','pan')
4 R=M.get('name')
5 print(R)#第一次打印pan
6 M.delete('name')
7 R=M.get('name')
8 print(R)#第二次打印None

 

delete_multi    在Memcached中删除指定的多个键值对

1 import memcache
2 M=memcache.Client(['10.0.0.8:12000'],debug=True)
3 M.set_multi({'name':'pan','age':'18'})
4 M.delete_multi(['name','age'])#删除的键以列表形式

 

5、get 和 get_multi

get            获取一个键值对

get_multi   获取多一个键值对

1 import memcache
2 M=memcache.Client(['10.0.0.8:12000'],debug=True)
3 M.set_multi({'name':'pan','age':'18','sex':'men'})
4 R=M.get('name')
5 O=M.get_multi(['age','sex'])
6 print(R,O)

结果为:

pan {'sex': 'men', 'age': '18'}

get直接获得键的值,get_multi则将键值全都打印出来

 

6、append 和 prepend

append    修改指定key的值,在该值 后面 追加内容

1 import memcache
2 M=memcache.Client(['10.0.0.8:12000'],debug=True)
3 M.append('name','-after')
4 R=M.get('name')
5 print(R)

结果为:panr-after #name之前已定义pan

prepend   修改指定key的值,在该值 前面 插入内容

1 import memcache
2 M=memcache.Client(['10.0.0.8:12000'],debug=True)
3 M.prepend('name','-before')
4 R=M.get('name')
5 print(R)

结果为:-beforepan-after

 

7、decr 和 incr  

incr  自增,将Memcached中的某一个值增加 N ( N默认为1 )

decr 自减,将Memcached中的某一个值减少 N ( N默认为1 )

 1 import memcache
 2 M=memcache.Client(['10.0.0.8:12000'],debug=True)
 3 M.set('age','18')
 4 M.incr('age')
 5 R=M.get('age')
 6 print(R)
 7 M.set('age','18')
 8 M.decr('age')
 9 R=M.get('age')
10 print(R)

结果为:第一次为19,第二次为17

 

10、gets 和 cas

如商城商品剩余个数,假设改值保存在memcache中,product_count = 900
A用户刷新页面从memcache中读取到product_count = 900
B用户刷新页面从memcache中读取到product_count = 900

如果A、B用户均购买商品

A用户修改商品剩余个数 product_count=899
B用户修改商品剩余个数 product_count=899

如此一来缓存内的数据便不在正确,两个用户购买商品后,商品剩余还是 899
如果使用python的set和get来操作以上过程,那么程序就会如上述所示情况!

如果想要避免此情况的发生,只要使用 gets 和 cas 即可,如:

1 import memcache
2 M=memcache.Client(['10.0.0.8:12000'],debug=True,cache_cas=True)
3 M.set('product_count','90000')
4 M.gets('product_count')
5 R=M.cas('product_count','89999')
6 print(R)

结果为:True

下面再看看gets 和 cas 之间对数据进行修改

1 import memcache
2 M=memcache.Client(['10.0.0.8:12000'],debug=True,cache_cas=True)
3 M.set('product_count','90000')
4 M.gets('product_count')
5 M.decr('product_count')#对product_count进行自减操作
6 R=M.cas('product_count','89999')
7 print(R)

结果为:

1 False
2 MemCached: while expecting 'STORED', got unexpected response 'EXISTS'

 

 

 

Redis

简介:

    redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。

    Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步,从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。存盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制,使得从数据库在任何地方同步树时,可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助。

    与memcache的比较

    Redis 是一个高性能的key-value数据库。 redis的出现,很大程度补偿了memcached这类key/value存储的不足,在部 分场合可以对关系数据库起到很好的补充作用。它提供了Java,C/C++,C#,PHP,JavaScript,Perl,Object-C,Python,Ruby,Erlang等客户端,使用很方便。

数据模型:

Redis的外围由一个键、值映射的字典构成。与其他非关系型数据库主要不同在于:Redis中值的类型 
不仅限于字符串,还支持如下抽象数据类型:

  • 字符串列表
  • 无序不重复的字符串集合
  • 有序不重复的字符串集合
  • 键、值都为字符串的哈希表

值的类型决定了值本身支持的操作。Redis支持不同无序、有序的列表,无序、有序的集合间的交集、并集等高级服务器端原子操作。

数据结构:

redis提供五种数据类型:string,hash,list,set及zset(sorted set)。

存储:

redis使用了两种文件格式:全量数据和增量请求。

全量数据格式是把内存中的数据写入磁盘,便于下次读取文件进行加载;

增量请求文件则是把内存中的数据序列化为操作请求,用于读取文件进行replay得到数据,序列化的操作包括SET、RPUSH、SADD、ZADD。

redis的存储分为内存存储、磁盘存储和log文件三部分,配置文件中有三个参数对其进行配置。

save seconds updates,save配置,指出在多长时间内,有多少次更新操作,就将数据同步到数据文件。这个可以多个条件配合,比如默认配置文件中的设置,就设置了三个条件。

appendonly yes/no ,appendonly配置,指出是否在每次更新操作后进行日志记录,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为redis本身同步数据文件是按上面的save条件来同步的,所以有的数据会在一段时间内只存在于内存中。

appendfsync no/always/everysec ,appendfsync配置,no表示等操作系统进行数据缓存同步到磁盘,always表示每次更新操作后手动调用fsync()将数据写到磁盘,everysec表示每秒同步一次。

具体安装启动步奏省略

使用python操作redis

1、操作模式

redis-py提供两个类Redis和StrictRedis用于实现Redis的命令,StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令,Redis是StrictRedis的子类,用于向后兼容旧版本的redis-py。

1 import redis
2 M=redis.Redis(host='10.0.0.8',port=6379)
3 M.set('name','pan')
4 print(M.get('name'))

结果为:b'pan'#memcached的值为字符串,redis的值却为字节

 

2、连接池

redis-py使用connection pool来管理对一个redis server的所有连接,避免每次建立、释放连接的开销。默认,每个Redis实例都会维护一个自己的连接池。可以直接建立一个连接池,然后作为参数Redis,这样就可以实现多个Redis实例共享一个连接池。

#单个命令
1 import redis
2 pool=redis.ConnectionPool(host='10.0.0.8',port=6379)
3 M=redis.Redis(connection_pool=pool)
4 M.set('age','22')#单个命令
5 print(M.get('age'))

#多个命令

1 import redis
2 pool=redis.ConnectionPool(host='10.0.0.8',port=6379)
3 R=redis.Redis(connection_pool=pool)
4 pipe = R.pipeline(transaction=True)
5 R.set('foo','bar')
6 R.set('foo1','bar1')#执行了两次set
7 pipe.execute()#通过管道一次执行多个命令
8 print(R.get('foo'),R.get('foo1'))

 

3、操作

String操作,redis中的String在在内存中按照一个name对应一个value来存储。

语法:

set(name, value, ex=None, px=None, nx=False, xx=False)
1 在Redis中设置值,默认,不存在则创建,存在则修改
2 参数:
3      ex,过期时间(秒)
4      px,过期时间(毫秒)
5      nx,如果设置为True,则只有name不存在时,当前set操作才执行
6      xx,如果设置为True,则只有name存在时,岗前set操作才执行

setnx(name, value)

设置值,只有name不存在时,执行设置操作(添加)

setex(name, value, time)

1 # 设置值
2 # 参数:
3     # time,过期时间(数字秒 或 timedelta对象)

psetex(name, time_ms, value)

1 # 设置值
2 # 参数:
3     # time_ms,过期时间(数字毫秒 或 timedelta对象)

mset(*args, **kwargs)

1 import redis
2 pool=redis.ConnectionPool(host='10.0.0.8',port=6379)
3 R=redis.Redis(connection_pool=pool)
4 R.mset({'name':'pan','age':'123'})
5 r=R.mget('name','age')
6 print(r)

getset(name, value)

1 import redis
2 pool=redis.ConnectionPool(host='10.0.0.8',port=6379)
3 R=redis.Redis(connection_pool=pool)
4 r=R.getset('name','PAN')#修改name值,并获得之前的值
5 print(r)
6 r1=R.get('name')#修改过后的值
7 print(r1)

结果为:

1 b'pan'
2 b'PAN'

getrange(key, start, end)

 获取子序列(根据字节获取,非字符)

# 参数:
    # name,Redis 的 name
    # start,起始位置(字节)
    # end,结束位置(字节)
1 import redis
2 pool=redis.ConnectionPool(host='10.0.0.8',port=6379)
3 R=redis.Redis(connection_pool=pool)
4 r=R.getrange('name',1,2)
5 print(r)

结果为:b'AN'#获得name值得第一个和第二个字符

 

setrange(name, offset, value)

# 修改字符串内容,从指定字符串索引开始向后替换(新值太长时,则向后添加)

# 参数:
    # offset,字符串的索引,字节(一个汉字三个字节)
    # value,要设置的值
1 import redis
2 pool=redis.ConnectionPool(host='10.0.0.8',port=6379)
3 R=redis.Redis(connection_pool=pool)
4 r=R.setrange('name',2,'test')
5 r1=R.get('name')
6 print(r1)

结果为:b'PAtest'

 

setbit(name, offset, value)

 1 # 对name对应值的二进制表示的位进行操作
 2  
 3 # 参数:
 4     # name,redis的name
 5     # offset,位的索引(将值变换成二进制后再进行索引)
 6     # value,值只能是 1 或 0
 7  
 8 # 注:如果在Redis中有一个对应: n1 = "foo",
 9         那么字符串foo的二进制表示为:01100110 01101111 01101111
10     所以,如果执行 setbit('n1', 7, 1),则就会将第7位设置为1,
11         那么最终二进制则变成 01100111 01101111 01101111,即:"goo"
12  
13 # 扩展,转换二进制表示:
14  
15     # source = "武沛齐"
16     source = "foo"
17  
18     for i in source:
19         num = ord(i)
20         print (bin(num).replace('b',''))
21  
22     特别的,如果source是汉字 "武沛齐"怎么办?
23     答:对于utf-8,每一个汉字占 3 个字节,那么 "武沛齐" 则有 9个字节
24        对于汉字,for循环时候会按照 字节 迭代,那么在迭代时,将每一个字节转换 十进制数,然后再将十进制数转换成二进制
25         11100110 10101101 10100110 11100110 10110010 10011011 11101001 10111101 10010000
26         -------------------------- ----------------------------- -----------------------------
27                     武                         沛                           齐

getbit(name, offset)

# 获取name对应的值的二进制表示中的某位的值 (0或1)

bitcount(key, start=None, end=None)

# 获取name对应的值的二进制表示中 1 的个数
# 参数:
    # key,Redis的name
    # start,位起始位置
    # end,位结束位置

bitop(operation, dest, *keys)

# 获取多个值,并将值做位运算,将最后的结果保存至新的name对应的值
 
# 参数:
    # operation,AND(并) 、 OR(或) 、 NOT(非) 、 XOR(异或)
    # dest, 新的Redis的name
    # *keys,要查找的Redis的name
 
# 如:
    bitop("AND", 'new_name', 'n1', 'n2', 'n3')
    # 获取Redis中n1,n2,n3对应的值,然后讲所有的值做位运算(求并集),然后将结果保存 new_name 对应的值中

strlen(name)#返回name对应值的字节长度(一个汉字3个字节)

1 import redis
2 pool=redis.ConnectionPool(host='10.0.0.8',port=6379)
3 R=redis.Redis(connection_pool=pool)
4 r=R.strlen('name')
5 print(r)
结果为:6

incr(self, name, amount=1)

1 # 自增 name对应的值,当name不存在时,则创建name=amount,否则,则自增。
2  
3 # 参数:
4     # name,Redis的name
5     # amount,自增数(必须是整数)
6  
7 # 注:同incrby
1 import redis
2 pool=redis.ConnectionPool(host='10.0.0.8',port=6379)
3 R=redis.Redis(connection_pool=pool)
4 R.set('age',18)
5 R.incr('age')
6 r=R.get('age')
7 print(r)

incrbyfloat(self, name, amount=1.0)

1 # 自增 name对应的值,当name不存在时,则创建name=amount,否则,则自增。
2  
3 # 参数:
4     # name,Redis的name
5     # amount,自增数(浮点型)
6     #代码省略

decr(self, name, amount=1)

 1 # 自减 name对应的值,当name不存在时,则创建name=amount,否则,则自减。
 2  
 3 # 参数:
 4     # name,Redis的name
 5     # amount,自减数(整数)
 6 
 7 import redis
 8 pool=redis.ConnectionPool(host='10.0.0.8',port=6379)
 9 R=redis.Redis(connection_pool=pool)
10 R.set('age',18)
11 R.decr('age')
12 r=R.get('age')
13 print(r)

append(key, value)# 在redis name对应的值后面追加内容

# 参数:
    key, redis的name
    value, 要追加的字符串
1 import redis
2 pool=redis.ConnectionPool(host='10.0.0.8',port=6379)
3 R=redis.Redis(connection_pool=pool)
4 R.set('age',18)
5 R.append('age','+++++++')
6 r=R.get('age')
7 print(r)

 

Hash操作,redis中Hash在内存中的存储格式如下图:

                

 

hset(name, key, value)

1 # name对应的hash中设置一个键值对(不存在,则创建;否则,修改)
2  
3 # 参数:
4     # name,redis的name
5     # key,name对应的hash中的key
6     # value,name对应的hash中的value
7  
8 # 注:
9     # hsetnx(name, key, value),当name对应的hash中不存在当前key时则创建(相当于添加)

hmset(name, mapping)

1 # 在name对应的hash中批量设置键值对
2  
3 # 参数:
4     # name,redis的name
5     # mapping,字典,如:{'k1':'v1', 'k2': 'v2'}
6  
7 # 如:
8     # r.hmset('xx', {'k1':'v1', 'k2': 'v2'})

hget(name,key)# 在name对应的hash中获取根据key获取value

hmget(name, keys, *args)

 1 # 在name对应的hash中获取多个key的值
 2  
 3 # 参数:
 4     # name,reids对应的name
 5     # keys,要获取key集合,如:['k1', 'k2', 'k3']
 6     # *args,要获取的key,如:k1,k2,k3
 7  
 8 # 如:
 9     # r.mget('xx', ['k1', 'k2'])
10     #
11     # print r.hmget('xx', 'k1', 'k2')

hgetall(name)#获取name对应hash的所有键值

hlen(name)# 获取name对应的hash中键值对的个数

hkeys(name)# 获取name对应的hash中所有的key的值

hvals(name)# 获取name对应的hash中所有的value的值

hexists(name, key)# 检查name对应的hash是否存在当前传入的key

hdel(name,*keys)# 将name对应的hash中指定key的键值对删除

hincrby(name, key, amount=1)# 自增name对应的hash中的指定key的值,不存在则创建key=amount

hincrbyfloat(name, key, amount=1.0)# 自增name对应的hash中的指定key的值,不存在则创建key=amount

 hscan(name, cursor=0, match=None, count=None)# 增量式迭代获取,对于数据大的数据非常有用,hscan可以实现分片的获取数据,并非一次性将数据全部获取完,从而放置内存被撑爆

# 参数:
    # name,redis的name
    # cursor,游标(基于游标分批取获取数据)
    # match,匹配指定key,默认None 表示所有的key
    # count,每次分片最少获取个数,默认None表示采用Redis的默认分片个数
 
# 如:
    # 第一次:cursor1, data1 = r.hscan('xx', cursor=0, match=None, count=None)
    # 第二次:cursor2, data1 = r.hscan('xx', cursor=cursor1, match=None, count=None)
    # ...
    # 直到返回值cursor的值为0时,表示数据已经通过分片获取完毕

hscan_iter(name, match=None, count=None)

1 # 利用yield封装hscan创建生成器,实现分批去redis中获取数据
2  
3 # 参数:
4     # match,匹配指定key,默认None 表示所有的key
5     # count,每次分片最少获取个数,默认None表示采用Redis的默认分片个数
6  
7 # 如:
8     # for item in r.hscan_iter('xx'):
9     #     print item

 

 

List操作,redis中的List在在内存中按照一个name对应一个List来存储。

lpush(name,values)

1 # 在name对应的list中添加元素,每个新的元素都添加到列表的最左边
2  
3 # 如:
4     # r.lpush('oo', 11,22,33)
5     # 保存顺序为: 33,22,11
6  
7 # 扩展:
8     # rpush(name, values) 表示从右向左操作

lpushx(name,value)

1 # 在name对应的list中添加元素,只有name已经存在时,值添加到列表的最左边
2  
3 # 更多:
4     # rpushx(name, value) 表示从右向左操作

llen(name)# name对应的list元素的个数

linsert(name, where, refvalue, value))

1 # 在name对应的列表的某一个值前或后插入一个新值
2  
3 # 参数:
4     # name,redis的name
5     # where,BEFORE或AFTER
6     # refvalue,标杆值,即:在它前后插入数据
7     # value,要插入的数据

r.lset(name, index, value)

1 # 对name对应的list中的某一个索引位置重新赋值
2  
3 # 参数:
4     # name,redis的name
5     # index,list的索引位置
6     # value,要设置的值

r.lrem(name, value, num)

1 # 在name对应的list中删除指定的值
2  
3 # 参数:
4     # name,redis的name
5     # value,要删除的值
6     # num,  num=0,删除列表中所有的指定值;
7            # num=2,从前到后,删除2个;
8            # num=-2,从后向前,删除2个

lpop(name)

1 # 在name对应的列表的左侧获取第一个元素并在列表中移除,返回值则是第一个元素
2  
3 # 更多:
4     # rpop(name) 表示从右向左操作

lindex(name, index)#在name对应的列表中根据索引获取列表元素

lrange(name, start, end)

1 # 在name对应的列表分片获取数据
2 # 参数:
3     # name,redis的name
4     # start,索引的起始位置
5     # end,索引结束位置

ltrim(name, start, end)

1 # 在name对应的列表中移除没有在start-end索引之间的值
2 # 参数:
3     # name,redis的name
4     # start,索引的起始位置
5     # end,索引结束位置

rpoplpush(src, dst)

1 # 从一个列表取出最右边的元素,同时将其添加至另一个列表的最左边
2 # 参数:
3     # src,要取数据的列表的name
4     # dst,要添加数据的列表的name

blpop(keys, timeout)

1 # 将多个列表排列,按照从左到右去pop对应列表的元素
2  
3 # 参数:
4     # keys,redis的name的集合
5     # timeout,超时时间,当元素所有列表的元素获取完之后,阻塞等待列表内有数据的时间(秒), 0 表示永远阻塞
6  
7 # 更多:
8     # r.brpop(keys, timeout),从右向左获取数据

brpoplpush(src, dst, timeout=0)

1 # 从一个列表的右侧移除一个元素并将其添加到另一个列表的左侧
2  
3 # 参数:
4     # src,取出并要移除元素的列表对应的name
5     # dst,要插入元素的列表对应的name
6     # timeout,当src对应的列表中没有数据时,阻塞等待其有数据的超时时间(秒),0 表示永远阻塞

自定义增量迭代

 1 # 由于redis类库中没有提供对列表元素的增量迭代,如果想要循环name对应的列表的所有元素,那么就需要:
 2     # 1、获取name对应的所有列表
 3     # 2、循环列表
 4 # 但是,如果列表非常大,那么就有可能在第一步时就将程序的内容撑爆,所有有必要自定义一个增量迭代的功能:
 5  
 6 def list_iter(name):
 7     """
 8     自定义redis列表增量迭代
 9     :param name: redis中的name,即:迭代name对应的列表
10     :return: yield 返回 列表元素
11     """
12     list_count = R.llen(name)
13     for index in range(list_count):
14         yield R.lindex(name, index)
15 
16 # 使用
17 for item in list_iter('pp'):
18     print(item)

 

 

Set操作,Set集合就是不允许重复的列表

 1 sadd(name,values)# name对应的集合中添加元素
 2 scard(name)#获取name对应的集合中元素个数
 3 sdiff(keys, *args)在第一个name对应的集合中且不在其他name对应的集合的元素集合
 4 sdiffstore(dest, keys, *args)# 获取第一个name对应的集合中且不在其他name对应的集合,再将其新加入到dest对应的集合中
 5 sinter(keys, *args)# 获取多一个name对应集合的并集
 6 sinterstore(dest, keys, *args)# 获取多一个name对应集合的并集,再讲其加入到dest对应的集合中
 7 sismember(name, value)# 检查value是否是name对应的集合的成员
 8 smembers(name)# 获取name对应的集合的所有成员
 9 smove(src, dst, value)# 将某个成员从一个集合中移动到另外一个集合
10 spop(name)# 从集合的右侧(尾部)移除一个成员,并将其返回
11 srandmember(name, numbers)# 从name对应的集合中随机获取 numbers 个元素
12 srem(name, values)# 在name对应的集合中删除某些值
13 sunion(keys, *args)# 获取多一个name对应的集合的并集
14 sunionstore(dest,keys, *args)# 获取多一个name对应的集合的并集,并将结果保存到dest对应的集合中
15 sscan(name, cursor=0, match=None, count=None)|sscan_iter(name, match=None, count=None)# 同字符串的操作,用于增量迭代分批获取元素,避免内存消耗太大

 

有序集合,在集合的基础上,为每元素排序;元素的排序需要根据另外一个值来进行比较,所以,对于有序集合,每一个元素有两个值,即:值和分数,分数专门用来做排序。

zadd(name, *args, **kwargs)

1 # 在name对应的有序集合中添加元素
2 # 如:
3      # zadd('zz', 'n1', 1, 'n2', 2)
4      #
5      # zadd('zz', n1=11, n2=22)

r.zrange( name, start, end, desc=False, withscores=False, score_cast_func=float)

 1 # 按照索引范围获取name对应的有序集合的元素
 2  
 3 # 参数:
 4     # name,redis的name
 5     # start,有序集合索引起始位置(非分数)
 6     # end,有序集合索引结束位置(非分数)
 7     # desc,排序规则,默认按照分数从小到大排序
 8     # withscores,是否获取元素的分数,默认只获取元素的值
 9     # score_cast_func,对分数进行数据转换的函数
10  
11 # 更多:
12     # 从大到小排序
13     # zrevrange(name, start, end, withscores=False, score_cast_func=float)
14  
15     # 按照分数范围获取name对应的有序集合的元素
16     # zrangebyscore(name, min, max, start=None, num=None, withscores=False, score_cast_func=float)
17     # 从大到小排序
18     # zrevrangebyscore(name, max, min, start=None, num=None, withscores=False, score_cast_func=float)

zrank(name, value)

1 # 获取某个值在 name对应的有序集合中的排行(从 0 开始)
2  
3 # 更多:
4     # zrevrank(name, value),从大到小排序

zrangebylex(name, min, max, start=None, num=None)

 1 # 当有序集合的所有成员都具有相同的分值时,有序集合的元素会根据成员的 值 (lexicographical ordering)来进行排序,而这个命令则可以返回给定的有序集合键 key 中, 元素的值介于 min 和 max 之间的成员
 2 # 对集合中的每个成员进行逐个字节的对比(byte-by-byte compare), 并按照从低到高的顺序, 返回排序后的集合成员。 如果两个字符串有一部分内容是相同的话, 那么命令会认为较长的字符串比较短的字符串要大
 3  
 4 # 参数:
 5     # name,redis的name
 6     # min,左区间(值)。 + 表示正无限; - 表示负无限; ( 表示开区间; [ 则表示闭区间
 7     # min,右区间(值)
 8     # start,对结果进行分片处理,索引位置
 9     # num,对结果进行分片处理,索引后面的num个元素
10  
11 # 如:
12     # ZADD myzset 0 aa 0 ba 0 ca 0 da 0 ea 0 fa 0 ga
13     # r.zrangebylex('myzset', "-", "[ca") 结果为:['aa', 'ba', 'ca']
14  
15 # 更多:
16     # 从大到小排序
17     # zrevrangebylex(name, max, min, start=None, num=None)

zrem(name, values)

1 # 删除name对应的有序集合中值是values的成员
2  
3 # 如:zrem('zz', ['s1', 's2'])

zunionstore(dest, keys, aggregate=None)

1 # 获取两个有序集合的并集,如果遇到相同值不同分数,则按照aggregate进行操作
2 # aggregate的值为:  SUM  MIN  MAX

zscan(name, cursor=0, match=None, count=None, score_cast_func=float)
zscan_iter(name, match=None, count=None,score_cast_func=float)

1 # 同字符串相似,相较于字符串新增score_cast_func,用来对分数进行操作

keys(pattern='*')

1 # 根据模型获取redis的name
2  
3 # 更多:
4     # KEYS * 匹配数据库中所有 key 。
5     # KEYS h?llo 匹配 hello , hallo 和 hxllo 等。
6     # KEYS h*llo 匹配 hllo 和 heeeeello 等。
7     # KEYS h[ae]llo 匹配 hello 和 hallo ,但不匹配 hillo

其他常用操作:

 1 zcard(name)# 获取name对应的有序集合元素的数量
 2 zcount(name, min, max)# 获取name对应的有序集合中分数 在 [min,max] 之间的个数
 3 zincrby(name, value, amount)# 自增name对应的有序集合的 name 对应的分数
 4 zremrangebyrank(name, min, max)# 根据排行范围删除
 5 zremrangebyscore(name, min, max)# 根据分数范围删除
 6 zremrangebylex(name, min, max)# 根据值返回删除
 7 zscore(name, value)# 获取name对应有序集合中 value 对应的分数
 8 zinterstore(dest, keys, aggregate=None)# 获取两个有序集合的交集,如果遇到相同值不同分数,则按照aggregate进行操作
 9 # aggregate的值为:  SUM  MIN  MAX
10 delete(*names)# 根据删除redis中的任意数据类型
11 exists(name)# 检测redis的name是否存在
12 expire(name ,time)# 为某个redis的某个name设置超时时间
13 rename(src, dst)# 对redis的name重命名为
14 move(name, db))# 将redis的某个值移动到指定的db下
15 randomkey()# 随机获取一个redis的name(不删除)
16 type(name)# 获取name对应值的类型

 

发布订阅:

        

发布者:服务器

订阅者:Dashboad和数据处理

Demo如下:

 1 #!/usr/bin/env python
 2 # -*- coding:utf-8 -*-
 3 
 4 import redis
 5 
 6 
 7 class RedisHelper:
 8 
 9     def __init__(self):
10         self.__conn = redis.Redis(host='10.211.55.4')
11         self.chan_sub = 'fm104.5'
12         self.chan_pub = 'fm104.5'
13 
14     def public(self, msg):
15         self.__conn.publish(self.chan_pub, msg)
16         return True
17 
18     def subscribe(self):
19         pub = self.__conn.pubsub()
20         pub.subscribe(self.chan_sub)
21         pub.parse_response()
22         return pub

订阅者:

 1 #!/usr/bin/env python
 2 # -*- coding:utf-8 -*-
 3  
 4 from monitor.RedisHelper import RedisHelper
 5  
 6 obj = RedisHelper()
 7 redis_sub = obj.subscribe()
 8  
 9 while True:
10     msg= redis_sub.parse_response()
11     print msg

发布者:

1 #!/usr/bin/env python
2 # -*- coding:utf-8 -*-
3  
4 from monitor.RedisHelper import RedisHelper
5  
6 obj = RedisHelper()
7 obj.public('hello')

 

memcache和redis的比较

差异:

  • 性能都很高,无大差异;

  • Redis只使用单核,而Memcached可以使用多核,平均每一个核上Redis在存储小数据时比Memcached性能更高;

  • 简单的key-value存储,Memcached的内存利用率更高,而如果Redis采用hash结构来做key-value存储,由于其组合式的压缩,其内存利用率会高于Memcached,当然,这和你的应用场景和数据特性有关;

  • Redis相比Memcached来说,拥有更多的数据结构和并支持更丰富的数据操作,通常在 Memcached里,你需要将数据拿到客户端来进行类似的修改再set回去。这大大增加了网络IO的次数和数据体积。在Redis中,这些复杂的操作通 常和一般的GET/SET一样高效。

选型:

  • 存储100k以上用memcache,以下用redis,其实无论你使用哪一个,每秒处理请求的次数都不会成为瓶颈(比如瓶颈可能会在网卡);

  • 需要更多的数据结构和并支持更丰富的数据操作,用redis;

  • 对数据持久化和数据同步有所要求,那么推荐你选择Redis。

     

 

posted @ 2016-07-22 15:00  百衲本  阅读(389)  评论(0编辑  收藏  举报
cnblogs_post_body { color: black; font: 0.875em/1.5em "微软雅黑" , "PTSans" , "Arial" ,sans-serif; font-size: 15px; } cnblogs_post_body h1 { text-align:center; background: #333366; border-radius: 6px 6px 6px 6px; box-shadow: 0 0 0 1px #5F5A4B, 1px 1px 6px 1px rgba(10, 10, 0, 0.5); color: #FFFFFF; font-family: "微软雅黑" , "宋体" , "黑体" ,Arial; font-size: 23px; font-weight: bold; height: 25px; line-height: 25px; margin: 18px 0 !important; padding: 8px 0 5px 5px; text-shadow: 2px 2px 3px #222222; } cnblogs_post_body h2 { text-align:center; background: #006699; border-radius: 6px 6px 6px 6px; box-shadow: 0 0 0 1px #5F5A4B, 1px 1px 6px 1px rgba(10, 10, 0, 0.5); color: #FFFFFF; font-family: "微软雅黑" , "宋体" , "黑体" ,Arial; font-size: 20px; font-weight: bold; height: 25px; line-height: 25px; margin: 18px 0 !important; padding: 8px 0 5px 5px; text-shadow: 2px 2px 3px #222222; } cnblogs_post_body h3 { background: #2B6695; border-radius: 6px 6px 6px 6px; box-shadow: 0 0 0 1px #5F5A4B, 1px 1px 6px 1px rgba(10, 10, 0, 0.5); color: #FFFFFF; font-family: "微软雅黑" , "宋体" , "黑体" ,Arial; font-size: 18px; font-weight: bold; height: 25px; line-height: 25px; margin: 18px 0 !important; padding: 8px 0 5px 5px; text-shadow: 2px 2px 3px #222222; } 回到顶部 博客侧边栏 回到顶部 页首代码 回到顶部 页脚代码