在python中使用memcached --- Python-memcached
1.memcached安装
使用apt-get安装memcached
# sudo apt-get install memcached
启动一个memcached实例
# memcached -m 10 -p 12000
-m 10 是指定最多使用的内存大小单位是M，如果不指定默认会使用64M
-p 12000 是指定端口号，默认端口为11211
另一个例子 说明一下参数
memcached -d -m 10 -u root -l 192.168.40.4 -p 12000 -c 256 -P /tmp/memcached.pid
参数说明:
-d选项是启动一个守护进程
-m是分配给Memcache使用的内存数量，单位是MB，我这里是10MB
-u是运行Memcache的用户，我这里是root
-l是监听的服务器IP地址
-p是设置Memcache监听的端口,最好是1024以上的端口
-c选项是最大运行的并发连接数，默认是1024，按照你服务器的负载量来设定
-P是设置保存Memcache的pid文件
memcached配置文件存放在
/etc/memcached.conf
日志文件存放在
/var/log/memcached.log
Memcached 操作：
telnet localhost 11334
set foo 0 0 3
bar
STORED
get foo
VALUE foo 0 3
bar
quit
Memcache命令:
存储命令: set/add/replace/append/prepend/cas
获取命令: get/gets
其他命令：delete/stats等
Shell操作memcache：
1、数据存储（假设key为foo，value为123）
printf "set foo 0 0 3\r\n123\r\n" | nc 127.0.0.1 11334
STORED
2、数据取回（假设key为foo）
printf "get foo\r\n" | nc 127.0.0.1 11334
VALUE foo 0 3
123
END
3、数值增加1（假设key为foo，并且value为正整数）
printf "incr foo 1\r\n" | nc 127.0.0.1 11334
124
4、数值减少3（假设key为foo,并且value为正整数）
printf "decr foo 3\r\n" | nc 127.0.0.1 11334
121
5、数据删除（假设key为foo）
printf "delete foo\r\n" | nc 127.0.0.1 11334
DELETED
6、查看Memcached状态
printf "stats\r\n" | nc 127.0.0.1 11334
STAT pid 22563
STAT uptime 90706
7、模拟top命令，查看Memcached状态：
watch "printf 'stats\r\n' | nc 127.0.0.1 11334"
watch "echo stats | nc 127.0.0.1 11334"
2.Python-memcached安装
到ftp://ftp.tummy.com/pub/python-memcached/下载最新版本的API，并解压tar包
# tar xzvf python-memcached-1.47
# cd python-memcached-1.47
# sudo python setup.py
3.在Python中使用memcached
首先启动一个memcached实例
# memcached -m 10 -p 12000
在python中调用
import memcache
mc = memcache.Client(['127.0.0.1:12000'], debug=0)
mc.set('foo','bar') # return True
mc.get('foo') # return 'bar'
mc.set('dt',{'a':1,'b':2}) # put a dict in it
mc.get('dt') # return {'a':1,'b':2}
set遵循(key ,value)的方式存储数据，如果系统中memcached进程挂掉，存入的数据会丢失。
4.Python-memcached API总结
整个memcache.py只有1241行，相当精简
主要方法如下：
@set(key,val,time=0,min_compress_len=0)
无条件键值对的设置，其中的time用于设置超时，单位是秒，而min_compress_len则用于设置zlib压缩(注:zlib是提供数据压缩用的函式库)
@set_multi(mapping,time=0,key_prefix='',min_compress_len=0)
设置多个键值对，key_prefix是key的前缀，完整的键名是key_prefix+key, 使用方法如下
>>> mc.set_multi({'k1' : 1, 'k2' : 2}, key_prefix='pfx_') == []
>>> mc.get_multi(['k1', 'k2', 'nonexist'], key_prefix='pfx_') == {'k1' : 1, 'k2' : 2}
@add(key,val,time=0,min_compress_len=0)
添加一个键值对，内部调用_set()方法
@replace(key,val,time=0,min_compress_len=0)
替换value，内部调用_set()方法
@get(key)
根据key去获取value，出错返回None
@get_multi(keys,key_prefix='')
获取多个key的值，返回的是字典。keys为key的列表
@delete(key,time=0)
删除某个key。time的单位为秒，用于确保在特定时间内的set和update操作会失败。如果返回非0则代表成功
@incr(key,delta=1)
自增变量加上delta，默认加1，使用如下
>>> mc.set("counter", "20")
>>> mc.incr("counter")
21
@decr(key,delta=1)
自减变量减去delta，默认减1
5._set方法
很多方法内部都调用了_set方法，其源码如下：
def _set(self, cmd, key, val, time, min_compress_len = 0):
self.check_key(key)
server, key = self._get_server(key)
if not server:
return 0
self._statlog(cmd)
store_info = self._val_to_store_info(val, min_compress_len)
if not store_info: return(0)
if cmd == 'cas':
if key not in self.cas_ids:
return self._set('set', key, val, time, min_compress_len)
fullcmd = "%s %s %d %d %d %d\r\n%s" % (
cmd, key, store_info[0], time, store_info[1],
self.cas_ids[key], store_info[2])
else:
fullcmd = "%s %s %d %d %d\r\n%s" % (
cmd, key, store_info[0], time, store_info[1], store_info[2])
try:
server.send_cmd(fullcmd)
return(server.expect("STORED") == "STORED")
except socket.error, msg:
if isinstance(msg, tuple): msg = msg[1]
server.mark_dead(msg)
return 0
注: memcached 的客户端使用TCP链接与服务器通讯, 一个运行中的memcached服务器监视一些端口, 客户端连接这些端口，发送命令到服务器，读取回应，最后关闭连接。（具体命令请参考《Memcached 协议中文版》）
6.python-memcached线程安全
本部分转自http://weavesky.com/2009/01/22/is-python-memcached-threadsafe/
答案是肯定的，前提你在使用Python 2.4+和python-memcached 1.36+
为什么我们需要线程安全的memcached client，因为我们的实际应用一般是多线程的模型，例如cherrypy、twisted，如果python-memcached不是线程安全的话，引起的问题不仅仅是并发修改共享变量这么简单，是外部socket链接的数据流的混乱
python-memcached怎么实现线程安全的呢？查看源代码看到
try:
# Only exists in Python 2.4+
from threading import local
except ImportError:
# TODO: add the pure-python local implementation
class local(object):
pass
class Client(local):
很取巧的让Client类继承threading.local，也就是Client里面的每一个属性都是跟当前线程绑定的。实现虽然不太优雅，但是很实在。但是别以为这样就可以随便在线程里面用python-memcached了，因为这种thread local的做法，你的应用必须要使用thread pool的模式，而不能不停创建销毁thread，因为每一个新线程的创建，对于就会使用一个全新的Client，也就是一个全新的socket链接，如果不停打开创建销毁thread的话，就会导致不停的创建销毁socket链接，导致性能大量下降。幸好，无论是cherrypy还是twisted，都是使用了thread pool的模式
