Python操作Redis、Memcache

   今天主要介绍如何通过python来对Redis和memcache进行操作，下面开始今天的内容：

  一、Memcached操作

    Memcached是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值的hashmap。其守护进程(daemon)是用C语言写的，但是客户端可以用任何语言来编写，并通过memcached协议与守护进程通信。

1，Memcached安装和基本使用

Memcached安装：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
#源码安装memcached,依赖libevent
#需要提前安装:yum -y install libevent-devel
 
wget http://memcached.org/latest
tar -zxf memcached-1.4.29.tar.gz
cd memcached-1.4.29/
./configure && make && make test && sudo make install
 
 
#编译安装以后，启动memcached进程
memcached -d -m 10    -u root -l 10.211.55.4 -p 12000 -c 256 -P /tmp/memcached.pid
 
#memcached参数说明：
    -d :启动一个守护进程；
    -m :分配给Memcache使用的内存数量，单位是MB；
    -u :运行memcache的用户；
    -l :监听的服务器IP地址；
    -p :设置Memcache监听的端口，最好是1024以上的端口；
    -c :选项是最大运行的并发连接数，默认是1024，按照你服务器的负载量来设定；
    -P :设置保存Memcache的pid文件。

Memcached操作命令：

 

1
2
3
存储命令： set/add/replace/append/prepend/cas
获取命令： get/gets
其他命令： delete/stats..

2、Python操作Memcached

    首先在本机安装Python-memcached的模块，下载并安装，模块地址：https://pypi.python.org/pypi/python-memcached

1
2
3
4
5
6
7
8
9
10
11
12
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import memcache
 
mc = memcache.Client(['192.168.10.128:12000'], debug=True)
mc.set("foo", "bar")
ret = mc.get('foo')
print(ret)
 
#结果：
bar

上面例子我们通过调用memcache模块来实现对memcached进行存取数据，debug=True表示运行中出现错误时，显示错误信息，上线后移除该参数。

 天生支持集群：

     python-memcachd模块原生支持集群操作，其原理是在内存维护一个主机列表，且集群中主机的权重值和主机在列表中重复出现的次数成正比。

 

1
2
3
4
5
6
7
8
      主机    权重
     1.1.1.1   1
     1.1.1.2   2
     1.1.1.3   1
 
#那么在内存中主机列表为：
     
      host_list=['1.1.1.1','1.1.1.2','1.1.1.2','1.1.1.3',]

如果用户要在内存中创建一个键值对(如：k1 = “v1”),那么要执行以下步骤：

  • 根据算法将k1转换成一个数字；

  • 将数字和主机列表长度求余数，得到一个值N(0 <= N < 列表长度)；

  • 在主机列表中根据第2步得到的值为索引获取主机，例如：host_list[N];

  • 连接将第3步中获取的主机，将k1 = 'v1'放置在该服务器的内存中。

代码实现如下：

 

1
2
3
mc = memcache.Client([('1.1.1.1:12000', 1), ('1.1.1.2:12000', 2), ('1.1.1.3:12000', 1)], debug=True)
  
mc.set('k1', 'v1')

add:

 添加一条键值对，如果已经存在的key，重复执行add操作会报异常。

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import memcache
 
mc = memcache.Client(['192.168.10.128:12000'], debug=True)
mc.add('k1','v1')
#mc.add('k1','v1')   #如果重复添加
 
 
#重复添加的结果：
MemCached: while expecting 'STORED', got unexpected response 'NOT_STORED'
MemCached: while expecting 'STORED', got unexpected response 'NOT_STORED'

replace：

replace修改某个key的值，如果key不存在，则异常。

 

1
2
3
4
5
6
7
8
9
10
11
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import memcache
 
mc = memcache.Client(['192.168.10.128:12000'], debug=True)
mc.replace('kkkk','999')   #如果memcache中存在kkkk,则替换成功，否则报异常
 
 
#结果：
MemCached: while expecting 'STORED', got unexpected response 'NOT_STORED'

set和set_multi：

  • set ：设置一个键值对，如果key不存在，则创建，如果key存在，则修改；

  • set_multi：设置多个键值对，如果key不存在，则创建，如果key存在，则修改。

1
2
3
4
5
6
7
8
9
10
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import memcache
 
mc = memcache.Client(['192.168.10.128:12000'], debug=True)
 
mc.set('key0','jack')
 
mc.set_multi({'key1':'val1','key2':'val2'})

delete和delete_multi：

  • delete：在Memcached中删除指定的一个键值对；

  • delete_multi：在Memcached中删除指定的多个键值对。

1
2
3
4
5
6
7
8
9
10
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import memcache
 
mc = memcache.Client(['192.168.10.128:12000'], debug=True)
 
mc.delete('key0')
 
mc.delete_multi(['key1','key2'])

get和get_multi：

  • get : 获取一个键值对；

  • get_multi：获取多个键值对。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import memcache
 
mc = memcache.Client(['192.168.10.128:12000'], debug=True)
 
val = mc.get('key0')
print(val)
 
item_dict = mc.get_multi(['key1','key2'])
print(item_dict)
 
#结果：
jack
{'key1': 'val1', 'key2': 'val2'}

append和prepend：

  • append：修改指定key的值，在该值后面追加内容；

  • prepend：修改指定key的值，在该值前面插入内容。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import memcache
 
mc = memcache.Client(['192.168.10.128:12000'], debug=True)
 
mc.append('k1','after')
val1 = mc.get('k1')
print(val1)
 
mc.prepend('k1','brefore')
val2 = mc.get('k1')
print(val2)
 
#结果：
v1afterafter
breforev1afterafter

decr和incr：

  • incr：自增，将Memcached中的某一个值增加N（N默认为1）；

  • decr：自减，将Memcached中的某一个值减少N（N默认为1）。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import memcache
 
mc = memcache.Client(['192.168.10.128:12000'], debug=True)
 
mc.set('k1','777')
 
#mc.incr('k1')        #778，默认自增1
 
mc.incr('k1',10)
val1 = mc.get('k1')
print(val1)
 
mc.decr('k1',20)
val2 = mc.get('k1')
print(val2)
 
#结果
 
787  #自增后的结果
767  #自减后的结果

gets和cas：

如商城商品剩余个数，假设改值保存在memcache中，product_count =9000

    A用户刷新页面从memcache中读取到product_count = 900

    B用户刷新页面从memcache中读取到product_count = 900

 如果A、B用户均购买商品：

    A用户修改商品剩余个数 product_count = 899

    B用户修改商品剩余个数product_count = 899

 如此一来缓存内的数据便不再正确，两个用户购买商品后，商品剩余还是899，如果使用python的set和get来操作以上过程，那么程序就会如上述所示情况，数据不准确。

 如果想要避免此情况的发生，只要使用gets和cas即可，如：

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#!/usr/bin/env python
# -*- coding: utf-8 -*-
#Author:HaiFeng Di
 
import memcache
 
mc = memcache.Client(['192.168.10.128:12000'], debug=True)
 
v = mc.gets('product_count')
print(v)
 
#如果有人在gets之后和cas之前修改了product_count,那么下面的设置将会执行失败，抛出异常，从而避免非正常数据的产出
v1 = mc.cas('product_count',"899")
print(v1)
 
#结果：
899
True

    本质上每次执行gets时，会从memcache中获取一个自增的数字，通过cas去修改gets的值时，会携带之前获取的自增值和memcache中的自增值进行比较，如果相等，则可以提交，如果不相等，那表示在gets和cas执行之间，又有其他人执行了gets(获取了缓冲的指定值)，如此一来有可能出现非正常数据，则不允许修改。

在现在Nosql数据库中，有mongodb、redis、memcache，有很多人就有疑惑了，memcache是不是已经过时了，我们通过一篇文章介绍给大家memcache是不是过时了，http://www.oschina.net/news/26691/memcached-timeout

二、Redis操作

    redis是一个key-value存储系统。和memcache类似，它支持的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sortd set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持不同方式的排序。与memcache一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改写入追加的记录文件，并且在此基础上实现了master-salve(主从)同步。

1，Redis安装和基本使用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
wget http://download.redis.io/releases/redis-3.0.6.tar.gz
tar -zxf redis-3.0.6.tar.gz
make
 
#编译安装完成后，启动后台进程
src/redis-server &
 
 
 
redis-cli  #进入客户端，进行操作
 
127.0.0.1:6379> set foo bar
OK
127.0.0.1:6379> get foo
"bar"
127.0.0.1:6379>

2，Python操作Redis

 

1
2
3
4
5
6
7
8
9
sudo pip install redis
or
sudo easy_install redis
or
源码安装
 
windows下安装：python3 -m pip install redis
  
详见：https://github.com/WoLpH/redis-py

API使用：

    redis-py的API的使用可以分类为：

  • 连接方式

  • 连接池

  • 操作

      String操作

        Hash操作

        List操作

        Set操作

        Sort Set 操作

  • 管道

  • 发布订阅

 

 操作模式：

    redis-py提供两个类Redis和StrictRedis用于实现Redis的命令，StrictRedis用于实现大部分官方的命令，并使用官方的语法和命令，Redis是StrictRedis的子类，用于向后兼容旧版本的redis-py。

 

1
2
3
4
5
6
7
8
9
10
11
12
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import redis
 
r = redis.Redis(host='192.168.10.128',port=6379)
 
r.set('foo','Bar')
print(r.get('foo'))
 
#结果：
b'Bar'  #取出来时二进制格式

连接池：

    redis-py使用connection pool来管理对一个redis server的所有连接，避免每次建立、释放连接的开销。默认每个Redis实例都会维护一个自己的连接池。可以直接建立一个连接池，然后作为参数Redis，这样就可以实现多个Redis实例共享一个连接池。

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import redis
 
pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
 
r = redis.Redis(connection_pool=pool)
 
r.set('foo','Bar')
print(r.get('foo'))
 
#结果：
b'Bar'

操作：

1，String操作

redis中的String在内存中按照一个name对应一哥value来存储。如下图：


set（name,value,ex=None,px=None,nx=False,xx=False）

 

1
2
3
4
5
6
在Redis中设置值，默认，不存在则创建，存在则修改。
参数：
    ex：过期时间(秒)
    px：过期时间(毫秒)
    nx：如果设置为True，则只有naem不存在时，当前set操作才执行
    xx：如果设置为True，则只有name存在时，当前set操作才执行

setnx(name,value)

 

1
设置值，只有name不存在时，执行设置操作(添加)

setex(name,value,time)

 

1
2
3
#设置值
#参数：
    #time，过期时间(数字秒，或者timedelta对象)

psetex(name,time_ms,value)

 

1
2
3
# 设置值
# 参数：
    # time_ms，过期时间（数字毫秒 或 timedelta对象）

mset(*args,**kwargs)

 

1
2
3
4
5
#批量设置值
#如：
    mset(k1='v1',k2='v2')
    或
    mset({'k1':'v1','k2':'v2'})

get(name)

 

1
获取值

mget(keys,*args)

 

1
2
3
4
5
#批量获取
#例：
    mget('k1','k2')
    或
    mget(['k1','k2'])

getset(name,value)

 

1
#设置新值并获取原来的值

getrange(key,start,end)

 

1
2
3
4
5
6
#获取子序列(根据字节获取，非字符)
#参数：
     key：Redis的key值
     start：起始位置(字节)
     end：结束位置(字节)
#如：'赵日天'，0-3表示‘赵’

setrange(name,offset,value)

 

1
2
3
4
#修改字符串内容，从指定字符串索引开始向后替换(新值太长时,则向后添加)
#参数：
    offset：字符串的索引，字节(一个汉字三个字节)
    value：要设置的值

setbit(name,offset,value)

 

1
2
3
4
5
6
7
8
9
10
#对name对应值的二进制表示的位进行操作
#参数：
    name：redis的name
    offset：位的索引(将值变成二进制后再进行索引)
    value：值只能是1或0
 
#如果在Redis中有一个对应：k1 ='foo'
那么字符串foo的二进制表示为：01100110 01101111 01101111
如果执行 setbit('n1', 7, 1)，则就会将第7位设置为1，
那么最终二进制则变成 01100111 01101111 01101111，即："goo"

getbit(name,offset)

 

1
获取name对应的二进制表示中的指定位的值(0或1)

bitcount(key,start=None,end=None)

 

1
2
3
4
5
#获取name对应的值的二进制表示中1的参数
#参数：
    # key，Redis的name
    # start，位起始位置
    # end，位结束位置

bittop(operation,dest,*keys)

 

1
2
3
4
5
6
7
8
9
10
# 获取多个值，并将值做位运算，将最后的结果保存至新的name对应的值
  
# 参数：
    # operation,AND（并） 、 OR（或） 、 NOT（非） 、 XOR（异或）
    # dest, 新的Redis的name
    # *keys,要查找的Redis的name
  
# 如：
    bitop("AND", 'new_name', 'n1', 'n2', 'n3')
    # 获取Redis中n1,n2,n3对应的值，然后讲所有的值做位运算（求并集），然后将结果保存 new_name 对应的值中

strlen(name)

 

1
#返回name对应值的字节长度(一个汉字3个字节)

incr（self,name,amount=1）

 

1
2
3
4
5
6
7
#自增，name对应的值，当name不存在时，则创建name= amount，否则，则自增。
#参数：
 
     # name,Redis的name
    # amount,自增数（必须是整数）
  
# 注：同incrby

incrbyfloat(self,name,amount=1.0)

 

1
#跟上面的用法一样，这里的amount，自增数为浮点型

decr(self,name,amount=1)

 

1
2
3
4
5
#自减，name对应的值，当name不存在时，则创建name＝amount，否则，则自减。
  
# 参数：
    # name,Redis的name
    # amount,自减数（整数）

append(key,value)

 

1
2
3
4
5
#在redis name对应的值后面追加内容
#参数：
    
    key：redis的name
    value：要追加的字符串

2，Hash操作

    hash操作，redis中Hash在内存中的存储格式如下图：


hset(name,key,value)

 

 

1
2
3
4
5
6
7
#name对应的hash中设置一个键值对(不存在，则创建；否则，修改)
#参数：
    #name:redis的name
    #key:name对应的hash中的key
    #value:name对应的hash中的value
 
#注：hsetx(name,key,value),当name对应的hash中不存在当前key则创建(相当于添加)

hmset(name,mapping)

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
#在name对应的hash中批量设置键值对
#参数：
     #name：redis的name
     #mapping：字典，如{'k1':'v1','k2','v2'}
 
#例：
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import redis
 
pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
 
r = redis.Redis(connection_pool=pool)
 
r.hmset('test',{'k1':'v1','k2':'v2'})
print(r.hmget('test','k1','k2'))
 
#结果
[b'v1', b'v2']

 

hget(name,key)

 

1
#在name对应的hash中获取根据key获取value

hmget(name,keys,*args)

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#在name对应的hash中获取多个key的值
#参数：
    #name：redis对应的name
    #keys：要获取key的集合，如：['k1','k2','k3']
    #*args：要获取的key,如：k1,k2,k3
 
#例：
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import redis
 
pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
 
r = redis.Redis(connection_pool=pool)
 
r.hmset('test',{'k1':'v1','k2':'v2'})
 
print(r.hmget('test','k1','k2'))   #获取多个值

hgetall(name)：获取name对应hash的所有键值

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import redis
 
pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
 
r = redis.Redis(connection_pool=pool)
 
r.hmset('test',{'k1':'v1','k2':'v2'})
 
print(r.hgetall('test'))
 
#结果：
{b'k2': b'v2', b'k1': b'v1'}

hlen(name)：获取name对应的hash中键值的个数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import redis
 
pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
 
r = redis.Redis(connection_pool=pool)
 
r.hmset('test',{'k1':'v1','k2':'v2'})
 
print(r.hlen('test'))
 
#结果：
2

hkeys(name)：获取name对应的hash中所有的key的值

hvals(name)：获取name对应的hash中所有的value的值

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import redis
 
pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
 
r = redis.Redis(connection_pool=pool)
 
r.hmset('test',{'k1':'v1','k2':'v2'})
 
print(r.hkeys('test'))
print(r.hvals('test'))
 
#结果：
[b'k2', b'k1']
[b'v2', b'v1']

hexists(name,key)：检查name对应的hash是否存在当前传入的key

hdel(name,*keys)：将name对应的hash中指定key的键值对删除

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import redis
 
pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
 
r = redis.Redis(connection_pool=pool)
 
r.hmset('test',{'k1':'v1','k2':'v2'})
 
print(r.exists('test'))
print(r.hdel('test','k1'))
print(r.hmget('test','k1','k2'))
 
#结果：
True
1
[None, b'v2']

hincrbyfloat(name,key,amount=1.0)

 

1
2
3
4
5
6
7
8
# 自增name对应的hash中的指定key的值，不存在则创建key=amount
  
# 参数：
    # name，redis中的name
    # key， hash对应的key
    # amount，自增数（浮点数）
  
# 自增name对应的hash中的指定key的值，不存在则创建key=amount

hscan(name,cursor=0,match=None,count=None)

 

1
2
3
4
5
6
7
8
9
10
11
12
13
# 增量式迭代获取，对于数据大的数据非常有用，hscan可以实现分片的获取数据，并非一次性将数据全部获取完，从而放置内存被撑爆
  
# 参数：
    # name，redis的name
    # cursor，游标（基于游标分批取获取数据）
    # match，匹配指定key，默认None 表示所有的key
    # count，每次分片最少获取个数，默认None表示采用Redis的默认分片个数
  
# 如：
    # 第一次：cursor1, data1 = r.hscan('xx', cursor=0, match=None, count=None)
    # 第二次：cursor2, data1 = r.hscan('xx', cursor=cursor1, match=None, count=None)
    # ...
    # 直到返回值cursor的值为0时，表示数据已经通过分片获取完毕

hscan_iter(name,match=None,count=None)：利用yield封装hscan创建生成器，实现分批去redis中获取数据

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
# 参数：
    # match，匹配指定key，默认None 表示所有的key
    # count，每次分片最少获取个数，默认None表示采用Redis的默认分片个数
 
#例：
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
 
import redis
 
pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
 
r = redis.Redis(connection_pool=pool)
 
r.hmset('test',{'k1':'v1','k2':'v2'})
 
for item in r.hscan_iter('test'):
    print(item)
 
#结果：
(b'k1', b'v1')
(b'k2', b'v2')


3，List操作

redis中的List在内存中按照一个name对应一个List来存储，如下图：

lpush(name,values)：在name对应的list中添加元素，每个新的的元素都添加到列表的最左边

 

1
2
3
4
5
#如：
    r.lpush('mylist',11,22,33)   #保存顺序为：33,22,11
 
#扩展：
   rpush(name,values)            #表示从右向左操作

lpushx(name,value)：在name对应的list中添加元素，只有name存在时，值添加到列表的最左边

llen(name)：name对应的list元素的个数

linsert(name,where,refvalue,value)：在name对应的列表的某一个值前后插入一个新值

 

1
2
3
4
5
#参数：
    # name，redis的name
    # where，BEFORE或AFTER
    # refvalue，标杆值，即：在它前后插入数据
    # value，要插入的数据

r.lset(name,index,value)：对name对应的list中的某一个索引位置重新赋值。

 

1
2
3
4
# 参数：
    # name，redis的name
    # index，list的索引位置
    # value，要设置的值

r.lrem(name,value,num):在name对应的list中删除指定的值

 

1
2
3
4
5
6
# 参数：
    # name，redis的name
    # value，要删除的值
    # num，  num=0，删除列表中所有的指定值；
           # num=2,从前到后，删除2个；
           # num=-2,从后向前，删除2个

lpop(name)：在name对应的列表的左侧获取第一个元素并在列表中移除，返回值则是第一个元素

 

1
#扩展： rpop(name) 表示从右向左操作

lindex(name,index)：在name对应的列表中根据索引取列表元素

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import redis
 
pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
 
r = redis.Redis(connection_pool=pool)
 
r.lpush('mylist',11,22,33)
print(r.lindex('mylist',0))
 
#结果：
b'33'

lrange(name,start,end)：在name对应的列表分片获取数据

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import redis
 
pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
 
r = redis.Redis(connection_pool=pool)
 
r.lpush('mylist',11,22,33)
print(r.lrange('mylist',0,1))
 
#结果：
[b'33', b'22']

ltrim(name,start,end)：在name对应列表中移除没有在start-end索引之间的值

 

1
2
3
4
# 参数：
    # name，redis的name
    # start，索引的起始位置
    # end，索引结束位置

rpoplpush(src,dst)：从一个列表取出最右边的元素，同时将其添加至另一个列表的最左边

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# 参数：
    # src，要取数据的列表的name
    # dst，要添加数据的列表的name
 
#例：
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import redis
 
pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
 
r = redis.Redis(connection_pool=pool)
 
r.lpush('mylist',11,22,33)
print(r.rpoplpush('mylist','testlist'))

blpop(keys,timeout)：将多个列表排列，按照从左到右去pop对应列表的元素

 

1
2
3
4
5
6
# 参数：
    # keys，redis的name的集合
    # timeout，超时时间，当元素所有列表的元素获取完之后，阻塞等待列表内有数据的时间（秒）, 0 表示永远阻塞
  
# 扩展：
    # r.brpop(keys, timeout)，从右向左获取数据

brpoplpush(src,dst,timeout=0)：从一个列表的右侧移除一个元素并将其添加到另一个列表的左侧

 

1
2
3
4
# 参数：
    # src，取出并要移除元素的列表对应的name
    # dst，要插入元素的列表对应的name
    # timeout，当src对应的列表中没有数据时，阻塞等待其有数据的超时时间（秒），0 表示永远阻塞

自定义增量迭代：

    由于redis类库没有提供对列表元素的增量迭代，如果想要循环name对应的列表的所有元素，那么就需要：

  • 获取name对应的所有列表

  • 循环列表

但是，如果列表非常大，那么就有可能在第一步时将程序的内存撑爆，所有有必要自定义一个增量迭代的功能。

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import redis
 
r = redis.Redis(host='192.168.10.128', port=6379)
 
def list_iter(name):
    """
    自定义redis列表增量迭代
    :param name: redis中的name，即：迭代name对应的列表
    :return: yield 返回 列表元素
    """
    list_count = r.llen(name)
    for index in range(list_count):
        yield r.lindex(name, index)
 
for item in list_iter('pp'):
    print(item)


4，Set操作，set集合就是不允许重复的列表

  • sadd(name,values)：name对应的集合中添加元素

  • scard(name)：获取name对应的集合中元素个数

  • sdiff(keys,*args)：在第一个name对应的集合中，且不在其他name对应的集合的元素集合

  • sdiffstore(dest,keys,*args)：获取第一个name对应集合，且不在其他name对应的集合，再将其新加入到redis对应的集合中

  • sinter(keys,*args)：获取多一个name对应集合的并集

  • sismember(name,value)：检查value是否是name对应的集合的成员

  • smembers(name)：获取name对应的集合的所有成员

  • smove(src,dst,value)：将某个成语从一个集合中移动到另一个集合中

  • spop(name)：从集合的右侧(尾部)移除一个成员，并将其放回

  • srandmember(name,numbers)：从name对应的集合中随机获取numbers个元素

  • serm(keys,*args)：在name对应的集合中删除某些值

  • sunion(dest,keys,*atgs)：获取多一个name对应的集合的并集

  • sunionstore(dest,keys,*args)：获取多个name对应的集合的并集，并将结果保存到dest对应的集合中

  • sscan(name,cursor=0,match=None,count=None)

    sscan_iter(name,match=None,count=None) ：同字符串的操作，用于增量迭代分批获取元素，避免内存消耗太大

 

5，有序集合

    在集合的基础上，为每个元素排序，元素的排序需要根据另外一个值进行比较，所以对于有序集合，每一个元素有两个值，即：值和分数，分数专门用来做排序

  •  r.zadd(name,*args,**keargs)：在name对应的有序集合中添加元素

 

1
2
3
4
# 如：
     # zadd('zz', 'n1', 1, 'n2', 2)
     # 或
     # zadd('zz', n1=11, n2=22)

  • r.zcard(name)：获取name对应的有序集合元素的数量

  • r.zcount(name,min,max)：获取name对应的有序集合中分数，在[min,max]之间的个数

  • r.zincrby(name,value,amount)：自增name对应的有序集合的name对应的分数

  • r.zrange(name,start,end,desc=False,withscores=False,score_cast_func=float):按照索引范围获取name对应的有序集合的元素

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# 参数：
    # name，redis的name
    # start，有序集合索引起始位置（非分数）
    # end，有序集合索引结束位置（非分数）
    # desc，排序规则，默认按照分数从小到大排序
    # withscores，是否获取元素的分数，默认只获取元素的值
    # score_cast_func，对分数进行数据转换的函数
  
# 扩展：
    # 从大到小排序
    # zrevrange(name, start, end, withscores=False, score_cast_func=float)
  
    # 按照分数范围获取name对应的有序集合的元素
    # zrangebyscore(name, min, max, start=None, num=None, withscores=False, score_cast_func=float)
    # 从大到小排序
    # zrevrangebyscore(name, max, min, start=None, num=None, withscores=False, score_cast_func=float)

  • zrank(name,value)：获取某个值在name对应的有序集合中的排行(从0开始)

 

1
#扩展：zrevrank(name,value)  #从大到小排序

  • zrangebylex(name,min,max,start=None,num=None)

    当有序集合的所有成员都具有相同的分值时，有序集合的元素会根据成员的值(lexicographical ordering来进行排序，而这个命令则可以返回给指定的有序集合键key中，元素的值介于min和max之间的成员。

    对集合中的每个成员进行逐个字节的对比(byte-by-byte compare),并按照从低到高的顺序，返回排序后的集合成员。如果两个字符串有一部分内容时相同的话，那么这个命令会认为较长的字符串比较短的字符串要大。

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 参数：
    # name，redis的name
    # min，左区间（值）。 + 表示正无限； - 表示负无限； ( 表示开区间； [ 则表示闭区间
    # min，右区间（值）
    # start，对结果进行分片处理，索引位置
    # num，对结果进行分片处理，索引后面的num个元素
  
# 如：
    # ZADD myzset 0 aa 0 ba 0 ca 0 da 0 ea 0 fa 0 ga
    # r.zrangebylex('myzset', "-", "[ca") 结果为：['aa', 'ba', 'ca']
  
# 更多：
    # 从大到小排序
    # zrevrangebylex(name, max, min, start=None, num=None)

  • zrem(name,values)：删除name对应的有序集合中值是values的成员

  • zremrangebyrank(name, min, max)：根据排行范围删除

  • zremrangebyscore(name, min, max)：根据分数范围删除

  • zremrangebylex(name, min, max)：根据值返回删除

  • zsore(name,value)：获取name对应有序集合中value对应的分数

  • zinterstore(dest, keys, aggregate=None)：获取两个有序集合的交集，如果遇到相同值不同分数，则按照aggregate进行操作(aggregate:SUM,MIN,MAX)

  • zunionstore(dest, keys, aggregate=None)：获取两个有序集合的并集，如果遇到相同值不同分数，则按照aggregate进行操作

  • zscan(name, cursor=0, match=None, count=None, score_cast_func=float)
    zscan_iter(name, match=None, count=None,score_cast_func=float)：    同字符串相似，相较于字符串新增score_csat_func,用来对分数进行操作

6，其他常用操作

  • delete(*names)：删除redis中的任意数据类型

  • exists(name)：检测redis的name是否存在

  • keys(pattern='*')：根据模型获取redis的name

1
2
3
4
5
# 扩展：
    # KEYS * 匹配数据库中所有 key 。
    # KEYS h?llo 匹配 hello ， hallo 和 hxllo 等。
    # KEYS h*llo 匹配 hllo 和 heeeeello 等。
    # KEYS h[ae]llo 匹配 hello 和 hallo ，但不匹配 hillo

  • expire(name,time)：为某个redis的某个name设置超时时间

  • rename(src,dst)：对redis的name重命名

  • move(name,db)：将redis的某个值移动到指定的db下

  • randomkey()：随机获取一个redis的name(不删除)

  • type(name)：获取name对应值的类型

  • scan(cursor=0, match=None, count=None)
    scan_iter(match=None, count=None) ：    同字符串操作，用于增量迭代获取key

7,管道

    redis-py默认在执行每次请求都会创建（连接池申请连接）和断开（归还连接池）一次连接操作，如果想要在一次请求中指定多个命令，则可以使用pipline实现一次请求指定多个命令，并且默认情况下一次pipline 是原子性操作。

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import redis
 
pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
 
r = redis.Redis(connection_pool=pool)
 
# pipe = r.pipeline(transaction=False)
pipe = r.pipeline(transaction=True)
 
r.set('name', 'alex')
r.set('role', 'sb')
pipe.execute()

8，发布订阅

 

 发布者：服务器

 订阅者：Dashboad和数据处理

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import redis
 
class RedisHelper:
 
    def __init__(self):
        self.__conn = redis.Redis(host='192.168.10.128')
        self.chan_sub = 'fm104.5'
        self.chan_pub = 'fm104.5'
 
    def public(self, msg):
        self.__conn.publish(self.chan_pub, msg)
        return True
 
    def subscribe(self):
        pub = self.__conn.pubsub()
        pub.subscribe(self.chan_sub)
        pub.parse_response()
        return pub

订阅者：

1
2
3
4
5
6
7
8
from monitor.RedisHelper import RedisHelper
 
obj = RedisHelper()
redis_sub = obj.subscribe()
 
while True:
    msg= redis_sub.parse_response()
    print(msg)

发布者：

 

1
2
3
4
5
6
7
#!/usr/bin/env python
# -*- coding:utf-8 -*-
  
from monitor.RedisHelper import RedisHelper
  
obj = RedisHelper()
obj.public('hello')

更多redis的操作，请参考下面链接：

三、Python上下文管理

    上下文管理器(context manager)是Python2.5以后开始支持的一种语法，用于规定某个对象的使用范围。通常我们使用contextlib模块配合with....as.....语法使用，contextlib模块的作用是提供更易用的上下文管理器，它是通过Generator实现的。contextlib中的contextmanager作为装饰器来提供一种针对函数级别的上下文管理机制。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import contextlib
 
@contextlib.contextmanager
def worker_state(state_list,wotker_thread):
    """
    用于记录线程中正在等待的线程数
    :param state_list:
    :param wotker_thread:
    :return:
    """
    state_list.append(worker_state)
    try:
        yield   #执行到yield会返回到with函数
    finally:
        state_list.remove(worker_state)
 
free_list = []
current_thread = 'jack'
with worker_state(free_list,current_thread):  #会调用上面的worker_state函数
    print(123)
    print(456)
 
#结果：
123
456

​上面是个简单的上下文管理的例子，下面我们通过上下文管理来实现自动关闭socket连接，请看下面例子：

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import contextlib
import socket
 
@contextlib.contextmanager
def context_socket(host,port):             #执行顺序(2),执行此函数
    sk = socket.socket()
    sk.bind((host,port))
    sk.listen(5)
    try:        
        yield sk   #执行顺序(3),yield后面参数是将函数的返回值返回with的sock
    finally:
        sk.close() #执行顺序(5)，关闭socket连接
 
with context_socket('127.0.0.1',8888) as sock: #执行顺序(1),调用上函数
    print(sock)                                #执行顺序(4)
 
#结果：
<socket.socket fd=100, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 8888)>

    其中，yield写入try-finally中是为了保证异常安全（能处理异常）as后的变量的值是由yield返回。yield前面的语句可看作代码块执行前操作，yield之后的操作可以看作在__exit__函数中的操作。

 



posted @ 2016-07-25 22:48  邸海峰  阅读(1637)  评论(0)  编辑  收藏  举报
doc